6月29日资讯:聊天机器人在医疗执照考试中的成功表明该考试以及医学教育存在缺陷。
ChatGPT 于 2022 年 11 月推出,是一款聊天机器人,不仅可以进行类似人类的对话,还可以为广泛知识领域的问题提供准确的答案。该聊天机器人由 OpenAI 公司创建,基于一系列“大型语言模型”——可以根据在包含数亿单词的数据集中识别的模式来识别、预测和生成文本的算法。
在本周发表在 PLOS Digital Health 上的一项研究中,研究人员报告说,ChatGPT 的表现达到或接近美国医疗执照考试 (USMLE) 的通过门槛——这是一项由三部分组成的综合考试,医生在美国行医之前必须通过该考试。在这篇论文的社论中 ,麻省理工学院医学工程与科学研究所的首席研究科学家、贝斯以色列女执事医疗中心的执业医师、哈佛医学院的副教授利奥·安东尼·塞利 (Leo Anthony Celi) 和他的合著者认为, ChatGPT 在这次考试中的成功应该给医学界敲响警钟。
问:您认为 ChatGPT 在 USMLE 上的成功揭示了医学教育和学生评估的本质是什么?
答:将医学知识框架视为可以概括为多项选择问题的东西会产生错误确定性的认知框架。医学知识通常作为健康和疾病的固定模型来教授。尽管实践模式不断变化,但随着时间的推移,治疗效果仍保持稳定。机械模型从教师传授给学生,很少强调这些模型的推导有多稳健、模型周围存在的不确定性以及必须如何重新校准模型以反映值得纳入实践的进步。
ChatGPT 通过了一项考试,该考试奖励记忆系统的组件,而不是分析系统如何工作、如何失败、如何创建、如何维护。它的成功表明了我们在培训和评估医学生方面的一些缺陷。批判性思维需要认识到医学中的基本事实不断变化,更重要的是,理解它们如何以及为何变化。
问:您认为医学界应该采取哪些步骤来改变学生的教学和评估方式?
答:学习就是利用当前的知识体系,了解其差距,并寻求填补这些差距。它需要适应并能够探索不确定性。作为教师,我们的失败在于没有教导学生如何理解当前知识体系中的差距。当我们鼓吹确定性而非好奇心,宣扬傲慢而非谦逊时,我们就辜负了他们。
医学教育还需要意识到医学知识创建和验证方式中的偏见。这些偏见最好通过优化社区内的认知多样性来解决。现在比以往任何时候都更需要激发跨学科的协作学习和解决问题的能力。医学生需要数据科学技能,使每个临床医生都能为医学知识做出贡献、不断评估和重新校准。
问:您认为 ChatGPT 在这次考试中取得成功有什么好处吗?ChatGPT 和其他形式的人工智能是否可以通过有益的方式为医学实践做出贡献?
答:毫无疑问,诸如 ChatGPT 之类的大型语言模型 (LLM) 是非常强大的工具,可以筛选超出专家甚至专家组能力范围的内容并提取知识。然而,在利用法学硕士和其他人工智能技术之前,我们需要解决数据偏差问题。法学硕士培训的知识体系(无论是医学还是其他领域)以来自高收入国家资金雄厚的机构的内容和研究为主。它并不代表世界上大多数地区。
我们还了解到,即使是健康和疾病的机械模型也可能存在偏差。这些输入被馈送到忽略这些偏差的编码器和变压器。医学中的基本事实不断变化,目前无法确定基本事实何时发生变化。法学硕士不会评估他们所接受培训的内容的质量和偏见。它们也没有提供其产出的不确定性水平。但完美不应该成为优秀的敌人。目前有巨大的机会来改善医疗保健提供者目前做出临床决策的方式,我们知道这些决策中存在无意识的偏见。我毫不怀疑,一旦我们优化了数据输入,人工智能将兑现其承诺。
323ai导航网发布