在今天发表的一封信中,一群大约20多名在科技和学术界工作的人工智能研究人员呼吁亚马逊的AWS停止向执法机构出售面部识别软件Rekognition。
那些反对执法部门使用Rekognition的人包括深度学习Luminary和最近的图灵奖获得者YoshuaBengio、加州理工学院教授和前亚马逊首席科学家AnimaAnandkumar,以及计算机视觉和机器学习领域的研究人员GoogleAI、微软研究和FacebookAI研究。
佛罗里达和华盛顿的部门一直在使用重新确认身份,据报道,他们已被提供给国土安全部以识别移民。
这封信写道:“我们呼吁亚马逊停止向执法部门出售重新认知,因为防止滥用的立法和保障措施尚未到位。” “没有任何法律或必要的标准来确保重新承认的使用方式不侵犯公民自由。
研究人员引用了隐私倡导者的工作,他们担心执法机构对计算机视觉系统的技术方面知之甚少,可能会犯严重的错误,比如把无辜的人送进监狱,或者过于信任自治系统。
信中写道:“来自这些自动化工具的决定似乎也比实际更正确,这是一种被称为“自动化偏见”的现象,或者可能过早地限制了人类驱动的批判性分析。”
这项研究还批评Rekognition将性取向分为男性或女性,这种方法可能导致分类错误,并引用了OsKeyes等研究人员的工作,他们对性别识别研究的分析发现,很少有纳入人的工作实例。
这封信与亚马逊的深度学习和AI总经理Mathew Woodandglobal公共政策主管Michael Punke提出的论点相矛盾,后者拒绝接受最近一次审计的结果,该审计发现,Rekognition在31%的时间里把肤色暗的女性误认为是男性。
该分析研究了商业上可用的面部分析工具,如Rekognition的性能,于1月在AAAI/ACM人工智能伦理和社会会议上由InioluwaDeborahRaji和JoyBuolamwini发表。
该报告是在一年前发布的“性别阴影”之后发布的,该分析发现,来自Face和微软等公司的面部识别软件在识别肤色暗的人,特别是有色人种的人方面能力有限。
谷歌研究员Timnit Gebru也签署了今天发表的这封信。
公民自由联盟(ACLU)去年夏天发布的一项研究发现,重新认知错误地将第115届国会议员贴上了罪犯的标签,而重新认知的标签给予有色人种的国会议员的可能性是议员的两倍。
在这篇论文和《纽约时报》的一篇文章发表后,伍德声称这项研究“得出了误导和错误的结论。”
作为回应,今天发表的这封信说,在多个博客文章中,Punke和Wood“错误地描述了工作的技术细节和面部分析和人脸识别的最新技术”。这封信还驳斥了Wood和Punke的具体说法,比如面部识别和面部分析具有完全不同的底层技术。
相反,这封信断言,许多机器学习研究人员认为两者密切相关,面部识别数据集可以用来训练面部分析的模型。
“因此,与Wood博士的说法不同的是,在一个系统中发现的偏见引起了另一个系统的关注,特别是在可能严重影响人们生活的用例中,例如执法应用。
这封反对执法使用面部识别的信件是在参议院议员提出立法规范面部识别软件使用后几周发出的。
就亚马逊而言,它欢迎某种形式的监管或“立法框架”,而微软则敦促联邦政府在执法机构滥用面部识别软件之前对其进行监管。