6月29日消息：麻省理工学院的一个团队表明，如果歧视性人工智能系统提供的建议得到适当的设计，那么其造成的危害就可以最小化。
人们怀有偏见已经不是什么秘密了——有些偏见可能是无意识的，而另一些则是明显的、令人痛苦的。一般人可能会认为计算机——通常由塑料、钢、玻璃、硅和各种金属制成的机器——没有偏见。虽然这种假设对于计算机硬件可能成立，但对于计算机软件来说并不总是如此，因为计算机软件是由容易犯错的人类编程的，并且可以输入本身在某些方面受到损害的数据。
人工智能 (AI) 系统（尤其是基于机器学习的系统）在医学领域的应用越来越多，例如诊断特定疾病或评估 X 射线。这些系统也被用来支持其他医疗保健领域的决策。 然而，最近的研究表明，机器学习模型可以编码针对少数群体的偏见，并且它们提出的建议可能因此反映了这些相同的偏见。
麻省理工学院计算机科学与人工智能实验室 (CSAIL) 和麻省理工学院贾米尔诊所的研究人员进行的一项新研究，于上个月发表在《通讯医学》杂志上，评估歧视性人工智能模型可能产生的影响，特别是对于旨在在紧急情况下提供建议的系统。“我们发现，建议的制定方式可能会产生重大影响，”该论文的主要作者、麻省理工学院数据系统与社会研究所的博士生哈马德·亚当 (Hammaad Adam) 解释道。“幸运的是，当以不同的方式提出建议时，有偏见的模型造成的危害可以是有限的（尽管不一定消除）。” 该论文的其他合著者包括博士生 Aparna Balagopalan 和 Emily Alsentzer，以及 Fotini Christia 和 Marzyeh Ghassemi 教授。
医学中使用的人工智能模型可能会出现不准确和不一致的情况，部分原因是用于训练模型的数据通常不能代表现实世界的设置。例如，不同类型的 X 射线机可以以不同的方式记录事物，从而产生不同的结果。此外，主要针对白人训练的模型在应用于其他群体时可能不那么准确。通讯医学论文并不关注此类问题，而是解决源于偏见的问题以及减轻不良后果的方法。
954 人（438 名临床医生和 516 名非专家）参加了一项实验，以了解人工智能偏见如何影响决策。参与者收到了来自虚构危机热线的电话摘要，每个电话摘要都涉及一名正在经历心理健康紧急情况的男性。摘要包含有关此人是白人还是非裔美国人的信息，如果他碰巧是穆斯林，还会提到他的宗教信仰。典型的通话摘要可能会描述一名非洲裔美国男子被发现在家中处于精神错乱状态的情况，表明“他没有吸食任何毒品或酒精，因为他是一名虔诚的穆斯林”。研究参与者被指示，如果他们认为病人可能变得暴力，就报警；否则，我们鼓励他们寻求医疗帮助。
参与者被随机分为对照组或“基线”组以及其他四个组，旨在测试在略有不同的条件下的反应。“我们想了解有偏见的模型如何影响决策，但我们首先需要了解人类偏见如何影响决策过程，”亚当指出。他们在对基线组的分析中发现的结果相当令人惊讶：“在我们考虑的环境中，人类参与者没有表现出任何偏见。这并不意味着人类没有偏见，但我们传达有关一个人的种族和宗教信息的方式显然不足以引起他们的偏见。”
实验中的其他四组得到的建议要么来自有偏见的模型，要么来自无偏见的模型，并且该建议以“规定性”或“描述性”形式提出。在涉及非裔美国人或穆斯林的情况下，有偏见的模型比无偏见的模型更有可能建议警方提供帮助。然而，研究参与者并不知道他们的建议来自哪种模型，甚至提供建议的模型可能根本不存在偏见。规范性建议以明确的措辞阐明了参与者应该做什么，告诉他们在一种情况下应该报警，在另一种情况下应该寻求医疗帮助。描述性建议不太直接：显示一个标志，表明人工智能系统感知到与特定呼叫相关的暴力风险；如果暴力威胁很小，则不会显示任何旗帜。
作者写道，该实验的一个关键要点是，参与者“受到有偏见的人工智能系统的规范性建议的严重影响”。但他们还发现，“使用描述性而非规定性的建议可以让参与者保留他们最初的、公正的决策。” 换句话说，通过适当地构建所提供的建议，可以减少人工智能模型中包含的偏见。为什么根据提出建议的方式会产生不同的结果？亚当解释说，当有人被告知要做某事时，比如报警，就没有什么怀疑的余地。然而，当仅仅描述情况时（无论是否有旗帜进行分类）“都为参与者自己的解释留下了空间；这使他们能够更加灵活并自己考虑情况。”
其次，研究人员发现通常用于提供建议的语言模型很容易产生偏见。语言模型代表一类基于文本训练的机器学习系统，例如维基百科和其他网络材料的全部内容。当这些模型依靠更小的数据子集进行“微调”（仅 2000 个句子，而不是 800 万个网页）时，生成的模型很容易产生偏差。
第三，麻省理工学院的团队发现，本身没有偏见的决策者仍然可能被有偏见的模型提供的建议所误导。医疗培训（或缺乏医疗培训）并没有以明显的方式改变反应。“临床医生和非专家一样受到有偏见的模型的影响，”作者表示。
亚当说：“这些发现可能适用于其他环境，”并且不一定限于医疗保健情况。在决定哪些人应该接受工作面试时，有偏见的模型可能更有可能拒绝黑人求职者。然而，如果不是明确地（和规定性地）告诉雇主“拒绝该申请人”，而是在文件中附加一个描述性标志以表明申请人“可能缺乏经验”，结果可能会有所不同。
亚当坚持认为，这项工作的意义不仅仅在于弄清楚如何应对处于心理健康危机中的个人。“我们的最终目标是确保机器学习模型以公平、安全和稳健的方式使用。”
323ai导航网发布
相关文章
