利用群众的智慧为人工智能公司标记医疗数据。
当埃里克·杜海姆 (Erik Duhaime) 19 届博士在麻省理工学院集体智慧中心撰写论文时，他注意到当时还是一名医科学生的妻子花几个小时研究提供闪存卡和测验的应用程序。他的研究表明，作为一个群体，医学生可以比专业皮肤科医生更准确地对皮肤病变进行分类。诀窍是不断地衡量每个学生在已知答案的案例中的表现，抛弃那些不擅长完成任务的人的意见，并明智地汇集那些擅长任务的人的意见。
Duhaime 将妻子的学习习惯与他的研究相结合，创立了 Centaur Labs，该公司创建了一款名为 DiagnosUs 的移动应用程序，用于收集医学专家对现实世界科学和生物医学数据的意见。通过该应用程序，用户可以查看潜在癌性皮肤病变的图像或可能表明存在问题的心肺音音频片段。如果用户是准确的，半人马座就会采纳他们的意见并奖励他们小额现金奖励。这些意见反过来又可以帮助医疗人工智能公司训练和改进他们的算法。
这种方法结合了医学专家磨练技能的愿望，以及使用人工智能进行生物技术、开发药品或商业化医疗设备的公司对标记良好的医疗数据的迫切需求。
“我意识到我妻子的学习对于人工智能开发人员来说可能是富有成效的工作，”杜海姆回忆道。“如今，我们有成千上万的人使用我们的应用程序，其中大约一半是医学生，他们对自己在学习过程中赢了钱感到惊讶。因此，我们有这个游戏化平台，人们可以相互竞争来训练数据，如果他们表现出色，就可以赢得金钱，同时提高他们的技能——通过这样做，他们可以为构建拯救生命的人工智能的团队标记数据。”
游戏化医疗标签
杜海姆在帕特里克·J·麦戈文管理学教授、集体智慧中心创始主任托马斯·马龙的指导下完成了博士学位。
“让我感兴趣的是群体智慧现象，”杜海姆说。“问一群人一个罐子里有多少颗糖豆，每个人的平均答案都非常接近。我感兴趣的是如何在需要技能或专业知识的任务中解决这个问题。显然，您不仅仅是想询问一群随机的人是否患有癌症，但与此同时，我们知道医疗保健领域的第二意见可能非常有价值。您可以将我们的平台视为获得第二意见的有力方式。”
杜海姆开始探索利用集体智慧来改善医疗诊断的方法。在一项实验中，他训练了一群外行人和被他称为“半专家”的医学院学生来对皮肤状况进行分类，发现通过结合表现最好的人的意见，他可以超越专业皮肤科医生。他还发现，通过将用于检测皮肤癌的算法与专家的意见相结合，他可以单独优于任何一种方法。
“核心见解是你要做两件事，”杜海姆解释道。“第一件事是衡量人们的表现——这听起来很明显，但即使在医疗领域，这方面也做得不多。如果你问皮肤科医生他们是否优秀，他们会说，“是的，当然，我是一名皮肤科医生。” 他们不一定知道自己在特定任务上的表现如何。第二件事是，当你得到多种意见时，你需要找出不同人之间的互补性。你需要认识到，专业知识是多维的，所以这更像是组建一个最佳的问答团队，而不是让五个在同一件事上都是最优秀的人。例如，一位皮肤科医生可能更擅长识别黑色素瘤，而另一位皮肤科医生可能更擅长对牛皮癣的严重程度进行分类。”
在攻读博士学位期间，Duhaime 创立了 Centaur，并开始利用麻省理工学院的创业生态系统来进一步发展这一想法。他于 2017 年获得了麻省理工学院沙盒创新基金的资助，并于 2018 年夏天参与了由麻省理工学院马丁信托中心创业中心运营的 delta v 创业加速器。这段经历帮助他在当年晚些时候进入了著名的 Y Combinator 加速器。
DiagnosUs 应用程序是 Duhaime 与 Centaur 联合创始人 Zach Rausnitz 和 Tom Gellatly 共同开发的，旨在帮助用户测试和提高他们的技能。杜海姆说，大约一半的用户是医学院的学生，另一半主要是医生、护士和其他医疗专业人员。
“这比为考试而学习要好，因为考试中你可能会遇到多项选择题，”杜海姆说。“他们可以看到实际案例并进行实践。”
Centaur 每周都会从世界各地数万人那里收集数百万条意见。Duhaime 表示，大多数人靠咖啡赚钱，尽管从该平台赚得最多的是东欧的一名医生，年收入约为 10,000 美元。
“人们可以在沙发上做，也可以在 T 上做，”杜海姆说。“这感觉不像是工作——而是很有趣。”
这种方法与传统的数据标签和人工智能内容审核形成鲜明对比，后者通常外包给资源匮乏的国家。
Centaur 的方法也能产生准确的结果。在与布莱根妇女医院、马萨诸塞州总医院 (MGH) 和埃因霍温理工大学的研究人员合作发表的一篇论文中，Centaur 展示了其众包意见，对肺部超声的标记与专家一样可靠。纪念斯隆·凯特琳纪念馆的研究人员进行的另一项研究表明，皮肤镜图像的众包标记比经验丰富的皮肤科医生的标记更准确。除了图像之外，Centaur 的平台还可以处理来自研究论文或医生与患者之间匿名对话等来源的视频、音频、文本，以及来自脑电图 (EEG) 和心电图 (ECG) 的电波。
寻找专家
Centaur 发现表现最好的人来自令人惊讶的地方。2021 年，为了收集专家对脑电图模式的意见，研究人员通过 DiagnosUs 应用程序在一次会议上举办了一场竞赛，参与者有大约 50 名癫痫专家，每一位都有 10 年以上的经验。组织者为比赛的获胜者制作了一件定制衬衫，他们认为获胜者将出席会议。
但当结果出来时，加纳的一对医科学生杰弗里·丹夸 (Jeffery Danquah) 和安德鲁斯·吉巴 (Andrews Gyabaah) 击败了在场的所有人。排名最高的与会者排在第九位。
“一开始我做这件事是为了钱，但我意识到这实际上对我帮助很大，”Gyabaah 后来告诉 Centaur 的团队。“有时在诊所里，我意识到自己比其他人做得更好，因为我在 DiagnosUs 应用程序上学到了知识。”
随着人工智能不断改变工作性质，杜海姆相信半人马实验室将被用来对人工智能模型进行持续检查。
“目前，我们主要帮助人们训练算法，但我认为我们将越来越多地用于监控算法并与算法结合，基本上充当一系列任务的循环中的人类，”杜海姆说。“你可能不认为我们是训练人工智能的一种方式，而更多地认为我们是整个生命周期的一部分，我们在其中提供有关模型输出的反馈或监控模型。”
Duhaime 看到人类和人工智能算法的工作日益集成，并相信 Centaur Labs 在未来可以发挥重要作用。
“这不仅仅是训练算法、部署算法，”杜海姆说。“相反，整个经济中都会有这些数字装配线，你需要在价值链的不同地方注入按需的专家人类判断。”
323AI导航网发布
相关文章
