《自然》周刊报道,通过在每一步都握着聊天机器人的手,研究人员写出了一篇流畅且富有洞察力的论文。但他们仍然心存疑虑。
人工智能聊天机器人 一直是一篇研究论文的副驾驶。
借助生产学术论文
在 的帮助下,两位科学家在不到一个小时的时间内写出了一篇研究论文–“The of Fruit and and on Risk among ”:
是一种由人工智能 (AI) 驱动的工具,可以理解并生成类似人类的文本。这篇文章流畅、富有洞察力,并以科学论文的预期结构呈现,但研究人员表示,在该工具真正发挥作用之前,还有许多障碍需要克服。
位于海法的以色列理工学院的生物学家兼数据科学家 Roy 表示,我们的目标是探索 作为研究“副驾驶”的能力,并引发关于其优势和缺陷的争论。他说:“我们需要讨论如何才能获得好处,同时减少坏处。”
和他的学生 Tal (同样在以色列理工学院工作的数据科学家)从美国疾病控制与预防中心的行为风险因素监测系统(与健康相关的电话调查数据库)下载了公开数据集。该数据集包括从超过 250,000 人收集的有关糖尿病状况、水果和蔬菜消耗以及体力活动的信息。
论文的组成部分
研究人员要求 编写代码,用于发现数据中的模式,以便进一步分析。在第一次尝试时,聊天机器人生成的代码充满了错误并且无法工作。但当科学家们转发错误消息并要求它纠正错误时,它最终生成了可用于探索数据集的代码。
有了更结构化的数据集, 和 随后请求 帮助他们制定研究目标。该工具建议他们探索身体活动和饮食如何影响糖尿病风险。一旦生成更多代码, 就会得出结果:多吃水果和蔬菜以及锻炼可以降低患糖尿病的风险。
然后, 被提示在表格中总结主要发现并写出整个结果部分。他们一步步要求 写一篇稿件的摘要、引言、方法和讨论部分。最后,他们要求 完善文本。“我们根据许多提示的输出撰写了[这篇论文],”基肖尼说。“每一步都是建立在之前步骤的产品的基础上的。”
表示,虽然 生成了一份清晰的手稿和可靠的数据分析,但这篇论文远非完美。研究人员遇到的一个问题是 倾向于通过编造事实来填补空白,这种现象被称为AI幻觉。
在这种情况下,它生成了虚假引用和不准确的信息。例如,论文指出,这项研究“解决了文献中的一个空白”——这句话在论文中很常见,但在本例中并不准确,耶路撒冷希伯来大学的计算机科学家汤姆·霍普 (Tom Hope) 表示。他说,这一发现“不会让任何医学专家感到惊讶”。“这离小说还差得远。”
好处和担忧
还担心,这些工具可能会让研究人员更容易从事不诚实的行为,例如P -,即科学家在数据集上测试多个假设,但只报告那些产生显着结果的假设。
他补充说,另一个担忧是,使用生成式人工智能工具生成论文的便利性可能会导致期刊充斥着低质量的论文。他说,他的从数据到论文的方法,以人为监督为每一步的核心,可能是确保研究人员能够轻松理解、检查和复制方法和发现的一种方法。
阿德莱德南澳大利亚大学开发人工智能教育技术的维托米尔·科瓦诺维奇 ( ć) 表示,研究论文中需要提高人工智能工具的可见度。他说,否则,将很难评估研究结果是否正确。“如果制造假论文如此容易,我们将来可能需要做更多的事情。”
马萨诸塞州剑桥市麻省理工学院和哈佛大学博德研究所的计算生物学家 Singh 表示,生成式人工智能工具有潜力通过执行简单但耗时的任务(例如编写摘要和生成代码)来加速研究过程。他说,它们可能用于从数据集生成论文或提出假设。但由于研究人员很难发现幻觉和偏见,辛格说,“我认为写整篇论文——至少在可预见的未来——不会有特别好的用途。”
参考文献:
, G. used to an paper from — but is it any good? (2023) doi:10.1038/-023-02218-z.
@