·“LLM（大型语言模型）肯定会变得更好。但现在，它们有很多局限性。它们提供了错误的信息。科学家们应该非常清楚这一点，并仔细检查它们的输出。”
当地时间2023年11月21日，据《科学》（）杂志报道，人工智能（AI）有望帮助科研人员消化大量论文，但面临技术和法律障碍。
约瑟夫·吉迪奥蒂斯（Iosif ）今年开始攻读瑞典皇家理工学院（KTH Royal of ）教育技术博士学位，获悉AI驱动的新工具可以帮助“消化”文献，很感兴趣。
在全球科学领域，去年共发表了近300万篇论文。在论文数量激增的情况下，AI研究助理“听起来很棒”。
吉迪奥蒂斯希望AI能够找到与其研究问题更相关的论文，并总结出亮点。然而事情并不如他想象中顺利。当他尝试使用一种名为的AI工具时，他发现只有部分相关，而且的摘要不够准确，无法满足他的需求。“获得的结果后，你的直觉是要自己阅读原文来验证摘要是否正确，所以它并不能节省时间。”
“表示”，它正在继续为25万普通用户改进算法。在一项调查中，该工具平均每周为人们节省90分钟的阅读和搜索时间。据悉，由一家非营利性研究组织创建于2021年，旨在帮助科学家浏览文献。
“这些平台呈爆炸式增长。”安德里亚·基亚雷利（ ）说，她在研究咨询公司（ ）的出版工作中关注AI工具，然而，这些工具的生成系统容易产生虚假内容，并且许多搜索到的论文都需要付费。
基亚雷利表示：“很难预测哪些AI工具会占上风，而且有一定程度的炒作，但它们显示出巨大的前景。”
与引发全球关注的 （研发的一款聊天机器人程序）和其他大语言模型 （LLM） 一样，一些新工具在大量文本样本上进行“训练”，学习识别单词关系，这些关联使算法能够对搜索结果求和。它们还根据论文中的上下文识别相关内容，相较于仅使用关键字查询，会产生更广泛的结果。
从头开始培训大语言模型对大部分组织来说太过昂贵，因此和其他AI工具使用开源的大语言模型，而在其用于“训练”的文本中，许多是非科学的。
有些AI工具走得更远。例如， 按概念组织论文，查询“过多咖啡因”，可以出现关于“减少嗜睡”和“损害运动表现”的单独论文集。高级版本每月收费10美元，还可使用额外的内部编程来提高准确性。
另一个名为 Scim 的工具有助于将读者的目光吸引到论文最相关的部分。该工具是非营利性组织——艾伦AI研究所（Allen for AI）创建的语义阅读器（ ）工具的一项功能，它像一个自动墨迹荧光笔，用户可以对其进行自定义，应用于有关新颖性、目标和其他主题的陈述。
“它提供了一篇论文是否值得阅读的快速诊断和分类，这非常有价值。”美国密歇根大学（ of ）的信息科学家艾达（Eytan Adar）说，他试用过早期版本。还有一些工具可以注释摘要，允许用户自己判断准确性。
为了尽量避免产生错误的响应，艾伦研究所（Allen ）使用受过科学论文“训练”的大语言模型来操作语义阅读器，但这种方法的有效性很难衡量。美国麻省理工学院（ of ）的计算机科学家迈克尔·卡宾（ ）说：“这些都是边缘的技术难题。”
艾伦研究所语义学者（ ）论文库的首席科学家韦尔德（Dan Weld）的说：“目前，我们拥有的最佳标准是让受过良好教育的人来观察AI输出并仔细分析它。”
该研究所已经收集了300多名付费研究生和数千名志愿测试人员的反馈。质量检验显示，将Scim应用于非计算机科学论文会产生故障，因此该研究所目前仅为大约55万篇计算机科学论文提供Scim。
其他研究人员强调，只有当开发人员和用户能够访问论文全文，为搜索结果和内容分析提供信息时，AI工具才能发挥潜力。澳大利亚皇家墨尔本理工大学（Royal of ，RMIT）计算语言学家卡琳·弗斯普尔（Karin ）说：“如果我们不能访问文本，那么我们对这些文本中所捕获的知识的看法就很有限。”
全球最大的科学出版商爱思唯尔（）也将其AI工具限制在论文摘要上。今年8月，这家商业公司在其数据库中首次推出了AI辅助搜索功能，该数据库列出了9300万篇研究出版物，成为最大的研究出版库之一。为了响应查询，其算法会识别最相关的摘要，并使用 来提供整体摘要。
AI还按概念对摘要进行分组。目前，用户的反馈是：这种方法足以“帮助跨学科领域的研究人员快速了解特定主题” 。
艾伦研究所采取了不同的方法：它与50多家出版商谈判达成协议，允许其开发人员对付费论文的全文进行数据挖掘。韦尔德说，几乎所有的出版商都免费提供访问权限，因为AI为他们带来流量。即便如此，根据许可限制， 用户只能访问 的6000万篇全文论文中的800万篇全文。
实现大规模的数据挖掘还需要让更多的作者和出版商采用非PDF格式，以帮助机器有效地消化论文的内容。美国白宫2022年的一项指令要求，由联邦资金制作的文件必须是机器可读的，但各机构尚未提出细节。
尽管面临挑战，计算机科学家已经在寻求开发更复杂的AI，以从文献中收集更丰富的信息。他们希望收集线索以加强药物发现并不断更新系统评价。例如，由美国国防高级研究计划局（ ）支持的研究探索了一种能够自动生成科学假设的系统。
目前，使用AI工具的科学家需要保持合理的怀疑态度，美国马萨诸塞大学阿默斯特分校（ of ）交互式信息访问系统研究者哈米德·扎马尼（Hamed ）说：“LLM肯定会变得更好。但现在，它们有很多局限性。它们提供了错误的信息。科学家们应该非常清楚这一点，并仔细检查它们的输出。”
相关文章
