东方时讯网但麻省理工学院的一个团队表示，如果人工智能系统提供的建议得到适当的构架，歧视性人工智能系统的危害就可以降到最低。
人们怀有偏见已经不是什么秘密了——有些偏见可能是无意识的，而另一些则非常明显。一般人可能会认为计算机——通常由塑料、钢、玻璃、硅和各种金属制成的机器——没有偏见。
虽然该假设可能适用于计算机硬件，但计算机软件并非总是如此，计算机软件是由易犯错误的人编写的，并且可以提供本身在某些方面受到损害的数据。
人工智能(AI)系统——尤其是基于机器学习——在医学上越来越多地用于诊断特定疾病，例如，或评估X射线。这些系统也被用来支持其他医疗保健领域的决策。
然而，最近的研究表明，机器学习模型可以对少数群体的偏见进行编码，因此它们提出的建议可能会反映出这些相同的偏见。
麻省理工学院计算机科学与人工智能实验室(CSAIL)和麻省理工学院贾米尔诊所的研究人员发表在《通信医学》杂志上的一项新研究评估了歧视性人工智能模型可能产生的影响，特别是对于旨在提供建议的系统紧急情况。
“我们发现如何制定建议会产生重大影响，”该论文的主要作者、麻省理工学院数据系统与社会研究所的博士生哈马德亚当解释道。“幸运的是，当建议以不同的方式呈现时，有偏见的模型造成的危害可以受到限制(尽管不一定消除)。”
该论文的其他合著者是博士生AparnaBalagopalan和EmilyAlsentzer，以及FotiniChristia和MarzyehGhassemi教授。
医学中使用的AI模型可能存在不准确和不一致的问题，部分原因是用于训练模型的数据通常不能代表现实世界的设置。例如，不同种类的X光机可以不同地记录事物，从而产生不同的结果。
此外，主要针对白人训练的模型在应用于其他群体时可能不那么准确。CommunicationsMedicine的论文并没有关注这类问题，而是解决了源于偏见的问题以及减轻不利后果的方法。
一组954人(438名临床医生和516名非专家)参加了一项实验，以了解人工智能偏见如何影响决策制定。向参与者展示了来自一条虚构的危机热线的电话摘要，每条电话摘要都涉及一名正在经历心理健康紧急情况的男性。
摘要包含有关此人是白人还是非裔美国人的信息，如果他碰巧是穆斯林，还会提及他的宗教信仰。典型的通话摘要可能会描述这样一种情况，即一名非洲裔美国男子被发现在家中神志不清，表明“他没有吸毒或饮酒，因为他是一名虔诚的穆斯林”。
研究参与者被告知，如果他们认为患者可能会变得暴力，就报警;否则，鼓励他们寻求医疗帮助。
参与者被随机分为对照组或“基线”组以及其他四个旨在测试在略有不同的条件下的反应的组。“我们想了解有偏见的模型如何影响决策，但我们首先需要了解人类偏见如何影响决策过程，”亚当指出。
他们在对基线组的分析中发现的结果相当令人惊讶：“在我们考虑的环境中，人类参与者没有表现出任何偏见。这并不意味着人类没有偏见，但我们传达有关一个人的种族和宗教信息的方式显然不足以引起他们的偏见。”
实验中的其他四组得到的建议要么来自有偏见的模型，要么来自无偏见的模型，这些建议以“规定性”或“描述性”的形式呈现。在涉及非裔美国人或穆斯林的情况下，有偏见的模型比无偏见的模型更有可能建议警察提供帮助。
然而，该研究的参与者并不知道他们的建议来自哪种模型，甚至不知道提供建议的模型可能存在偏见。规范性建议以明确的方式阐明了参与者应该做什么，告诉他们在一种情况下应该报警，在另一种情况下应该寻求医疗帮助。
描述性建议不那么直接：显示一个标志，表明人工智能系统感知到与特定呼叫相关的暴力风险;如果认为暴力威胁很小，则不会显示任何旗帜。
作者写道，该实验的一个关键要点是参与者“受到有偏见的人工智能系统的规范性建议的高度影响”。但他们还发现，“使用描述性而非规范性的建议可以让参与者保留他们最初的、公正的决策。”
换句话说，可以通过适当地构建所提供的建议来减少人工智能模型中的偏见。为什么会有不同的结果，这取决于建议的提出方式?亚当解释说，当有人被告知要做某事时，比如报警，就不会留下任何怀疑的余地。
然而，当仅仅描述情况时——分类时有或没有标志——“这就为参与者自己的解释留下了空间;这让他们更加灵活，可以自己考虑情况。”
其次，研究人员发现通常用于提供建议的语言模型很容易产生偏见。语言模型代表一类在文本上训练的机器学习系统，例如维基百科和其他网络材料的全部内容。
当这些模型通过依赖小得多的数据子集进行训练时(仅2,000个句子，而不是800万个网页)进行“微调”时，生成的模型很容易出现偏差。
第三，麻省理工学院团队发现，本身没有偏见的决策者仍然可能被有偏见的模型提供的建议所误导。医疗培训(或缺乏医疗培训)并没有以明显的方式改变反应。“临床医生和非专家一样受到有偏见的模型的影响，”作者说。
“这些发现可能适用于其他环境，”亚当说，而且不一定局限于医疗保健情况。在决定哪些人应该接受工作面试时，有偏见的模型更有可能拒绝黑人申请人。
然而，如果不是明确(和规范地)告诉雇主“拒绝该申请人”，而是在文件上附加一个描述性标记以表明申请人“可能缺乏经验”，结果可能会有所不同。
Adam坚持认为，这项工作的意义不仅仅是弄清楚如何应对处于心理健康危机中的个人。“我们的最终目标是确保机器学习模型得到公平、安全和稳健的使用。”