人工智能存在种族问题 - 彭博社

布莱恩·布拉基恩，Kairos AR Inc.的创始人，在费城。

摄影师：雅尔·马尔卡为《彭博商业周刊》拍摄几年前，当布莱恩·布拉基恩准备向潜在客户推销他的面部识别软件，作为一种方便、安全的密码替代品时，软件突然停止工作。他惊慌失措，试着调整房间的灯光，然后是Wi-Fi连接，最后才意识到问题出在他的脸上。布拉基恩是黑人，但像大多数面部识别开发者一样，他用一组主要是白人的面孔训练了他的算法。他让一位白人金发同事为演示摆姿势，最终达成了交易。他说这是一场得不偿失的胜利：“就像自己的孩子不认出你一样。”

彭博商业周刊贾伦·布伦森是NBA现在需要的球员揭示设定体育博彩赔率的公司内幕为什么服装转售平台如此难以盈利？莉娜·汉正在起步（她希望如此）在Kairos AR Inc.，他在迈阿密的40人面部识别公司，布拉基恩表示，他通过增加更多黑人和棕色人种的面孔到他的图像集中来改善软件，但结果仍然不完美。包括微软、IBM和亚马逊在内的公司及其日益增长的类似服务客户也面临同样的问题。面部识别正在帮助印度政府寻找失踪儿童，英国新闻机构在皇家婚礼上识别名人。更具争议的是，执法机构在越来越多的情况下使用它，而他们通常对使用目的和是否采取足够措施应对潜在问题不太透明。布拉基恩认为，种族偏见的问题严重到执法部门根本不应该使用面部识别。

微软、IBM和中国的Face++ 错误识别肤色较深的女性的频率高达35%，而肤色较深的男性则为12%，这是根据麻省理工学院研究人员今年早些时候发布的一份报告。性别差异源于女性面孔数据集较小。这种软件只能看到它被教导去看的东西。

近年来，主要供应商表示，他们已多样化其训练数据集，以包括肤色较深的面孔，并在减少偏见方面取得了进展。微软公司表示，它计划在6月26日宣布将发布其软件工具Face API的新版本，该版本现在错误识别肤色较深的女性的频率仅为1.9%（该组是其错误率最高的群体）。(该公司表示，其对其他群体的错误率为零。)国际商业机器公司表示，其Watson视觉识别在识别肤色较深的女性时同样表现较弱，错误率为3.5%。IBM和微软都承认，他们的结果尚未经过独立验证，现实世界的错误率可能与他们的库存图像集合的错误率不同。Face++的制造商未对此请求作出回应。

“不准确的系统将使人们因未犯的罪行而受到牵连”

亚马逊公司可能最需要担心现实世界的结果。6月15日，一组 亚马逊股东向公司发出信函，要求其停止向警察部门和其他政府机构推广其Rekognition系统，直到制定出确保该软件不会导致公民权利侵犯的指南。随后一周的另一封信中， 亚马逊员工要求首席执行官杰夫·贝索斯停止向执法机构销售Rekognition，理由是“美国对难民和移民的待遇日益不人道。”亚马逊对此报道未作评论。

政府机构没有广泛认可的标准来评估面部识别系统。乔治城大学在2016年的一项研究发现，几乎没有使用面部识别的执法机构要求供应商达到整体准确性的最低标准，更不用说种族差异了。“一个不准确的系统会将无辜的人牵连到他们没有犯下的罪行上，并将证明他们不是系统所说的人的负担转移给无辜的被告，”电子前沿基金会的高级职员律师詹妮弗·林奇说，该基金会是在线公民自由的倡导者。

而且这个问题不仅仅存在于美国。今年春天，英国公民权利组织“大哥在看”的一份报告对几家使用面部识别的执法机构的公共记录请求进行了审查，得出结论认为这些系统非常糟糕。例如，南威尔士警方在公共活动中使用面部识别来筛查人群，报告称超过90%的匹配都是错误的。该部门在其网站上的声明中表示，使用面部识别是一个“响亮的成功”。它没有回应采访请求。

包括微软和IBM在内的面部识别技术制造商表示，该软件仍在不断完善中，工程师们专注于提高准确性和透明度。他们表示，这项技术帮助打击了性贩运者并逮捕了潜在的恐怖分子，尽管他们提供的细节很少。

华盛顿特区大学的法律教授安德鲁·弗格森以及 大数据警务的崛起的作者表示，在技术仍在开发中且几乎没有监管的情况下使用这种强大的技术是危险的。执法机构在采用新技术时一贯搞砸。“警方在没有审查过程来考虑偏见或它可能如何影响公民的公民权利的情况下，正在进行新技术的测试或试点新的警务想法，”他说。

工程师们正在改善他们训练算法的方式，因为越来越多的机构购买这些软件，但他们可能无法阻止对监管日益增长的呼声。《乔治城报告》的作者呼吁制定州和联邦法律，规范警察部门如何使用面部识别技术，并呼吁警方定期测试算法偏见。今年四月，一组民权组织表示，实时面部识别分析警察随身摄像机拍摄的录像是“绝对不道德的”。

包括EFF的林奇在内的一些人认为，随着技术的进步，他们的担忧只会增加。准确的图像与个人信息（如位置、家庭关系、投票记录等）结合在一起，可能被当局利用如Palantir Technologies Inc.等公司的产品，创建一个没有个人同意或知识的数字档案。“即使我们有一个百分之百准确的系统，我也不想要那个系统，”林奇说。“这意味着我们无法再随意走动和与人互动，而不让政府知道我们是谁，我们在哪里，以及我们在和谁交谈。”