都说医疗、金融等专业领域的语料数据稀缺，这会制约AI大模型的发展——那能不能让两个对聊，聊出点数据出来？
近日，天桥脑科学研究院（TCCI）主办了AI For Brain 系列会议第二期—— “面向AI模型的数据生成方法及其对医疗领域的启示”。
在上海交通大学计算机科学与工程系副教授吴梦玥主持下，三名青年科学家分享了关于破解大规模语言模型数据瓶颈的看法和实践。
快速构建专属GPT
国际上一项研究评估指出，回答癌症相关问题的水平已经与美国国家癌症研究所的回答持平。不过，只能通过受限的应用程序编程接口访问；并且涉及到个人医疗，人们也普遍不希望将自己的隐私信息分享给第三方公司。
针对这样的难题，加州大学圣迭戈分校博士生许灿文和中山大学团队的合作者提出了一种能自动生成高质量多轮聊天语料库的流程，利用与其自身进行对话，生成对话数据，再基于产生的对话数据调优、增强开源的大型语言模型。他们从而获得了高质量的专属模型“白泽”，并在数天前推出了2.0版本。这个名字的灵感来源是中国古代传说中的一种神兽，“能言语，达知万物之情”。
许灿文介绍，“白泽”在这个过程中并没有学会新的知识，只是提取了大模型中的特定数据，并且保留了 “分点作答”“拒绝回答”等语言能力。这在专业上被比喻为一种“蒸馏”。进一步地，他们提出了反馈自蒸馏的概念，即利用当教官，对“白泽”回答的结果进行评分排序，从而进一步提高了“白泽”模型的性能。
许灿文认为，“白泽”通过自动化的知识蒸馏，在特定领域达到的能力，成本却远远低于，兼具经济意义和实用意义。在医疗领域，本地化或私有化建构的模型将有利于消除隐私顾虑，辅助患者诊疗。
大模型优化医疗文本挖掘
莱斯大学博士生唐瑞祥和合作者同样基于大模型提出了一种新的数据生成策略，并在命名实体识别、关系提取等经典的医疗文本挖掘任务上取得了更佳表现。
具有创造性的写作能力，在医疗、金融、法律等标注数据很少的领域以及知识密集型领域表现出色。然而，具体到医疗文本挖掘，他们发现将直接应用大型模型处理医疗文本的下游任务，表现并不总是优秀，也可能引发隐私问题。
唐瑞祥等提出了一种新策略：利用大型模型生成大量医疗数据，再通过小型模型对这些数据进行训练。实验结果显示，相较于直接利用大型模型执行下游任务，这一新策略能够取得更出色的效果，同时因为模型数据在本地，也大幅降低了潜在的隐私风险。
他们进一步指出，随着开源大模型数量的增加和大模型能力的提升，其产生的文本数据与人类产生的文本数据的差别将越来越小，发展检测二者差别的技术手段将是一项富有挑战性的工作。现有的两种检测手段，无论是黑盒检测——直接比较大模型生成的文本数据与人类生成的文本数据（比如比较高频词分布），还是白盒检测——开发者在生成文本上做标签，在未来都可能失效。能否有效地检测出数据是不是GPT生成的，将影响到广大用户对大模型AI的信任程度。
大模型时代数据生成不一样
从历史演变的角度来看，在没有GPT的时代，科学家们如何解决数据稀缺难题？大模型又带来了哪些新趋势？
上海交通大学博士生曹瑞升总结了数据生成在大模型时代的几大新趋势：首先是构建更加通用的模型，以确保其能够应用于多样化的任务——这意味着模型需要具备广泛的适应性和泛化能力；其次是从特定任务出发，进一步精细化地处理，例如在医疗领域，甚至可以针对特定类型的抑郁症进行专业化的任务处理，提供更加精准和个性化的解决方案；最后，数据生成和模型训练的过程将从分离走向融合，而为了保证数据质量的硬性过滤也将逐渐被软性控制所取代。
“数据生成研究与应用的发展，为大模型AI走向各个专业领域，尤其是医疗领域提供广阔的可能性。”曹瑞升说。
记者获悉，TCCI致力于支持全球范围内的脑科学交流。AI For Brain 系列会议致力于促进AI与脑科学研究人员的讨论合作，将持续聚焦领域内的数据瓶颈和关键痛点，促进前沿AI技术在脑科学领域发挥更大的价值。
新民晚报记者 郜阳
相关文章
