亚马逊用AI筛简历却发现它对女性有偏见 最终关闭

10月11日消息，据路透社报道，亚马逊的机器学习专家们发现了一个大问题，他们的新人工智能（AI）招聘引擎似乎不喜欢女性，为此将其关闭。

五名知情人士表示，自2014年以来，这个团队始终在开发电脑程序以审查求职者的简历，目的是将寻找顶尖人才的任务自动化。自动化一直是亚马逊在电子商务领域占据主导地位的关键，无论是在配送中心内部还是制定价格决策时。

知情人士说，亚马逊的试验性招聘工具使用AI给应聘者打分，分数从一星到五星不等，就像购物者给亚马逊网站上的产品打分一样。其中一人说：“每个人都想要这个‘圣杯’。亚马逊真的想将其打造成引擎，给它100份简历，它会列出前五人，我们会聘用他们。”

但到2015年，亚马逊意识到其新系统并没有对软件开发人员和其他技术职位求职者进行性别中立式的评估。这是因为，亚马逊的电脑模型经过了培训，通过观察过去10年被提交给该公司的简历找出固有模式，并以此来审查应聘者。其中大部分简历来自男性，这也反映了男性在科技行业占主导地位的现状。

实际上，亚马逊的系统告诉自己，男性求职者更受青睐。这套系统对简历中含有“女子象棋俱乐部队长”等语句中的“女子”一词特别敏感。据知情人士透露，它还下调了两所女子学院的毕业生评级，但他们没有具体说明这些学校的名字。

亚马逊编辑了这些程序，使它们对这些特定的术语保持中立。但上述知情人士说，这并不能保证其AI系统不会设计出其他可能被证明具有歧视性的筛选求职者的方法。据不愿透露姓名的知情人士说，亚马逊最终在去年年初解散了团队，因为高管们对这个项目感到失望。

亚马逊的招聘人员在搜索新员工时查看了该工具提供的推荐信息，但他们表示，他们从来没有仅仅依靠其排名来做出判断。亚马逊拒绝就招聘引擎或其面临的挑战置评，但该公司表示，它致力于打造职场多样性和平等。

路透社率先报道了亚马逊的实验，它提供了一个关于机器学习局限性的案例研究。此外，希尔顿全球控股公司(Hilton)和高盛集团(Goldman Sachs)等越来越多的大公司也在寻求将招聘流程的部分自动化。人才软件公司CareerBuilder 2017年的一项调查显示，约55%的美国人力资源经理表示，在未来5年内，AI将成为他们常规工作的一部分。

雇主们始终梦想利用科技来扩大招聘网络，以减少对人类招聘者主观意见的依赖。但卡内基梅隆大学教授机器学习知识的计算机科学家尼哈尔·沙赫（Nihar Shah）认为，他们还有很多工作要做。沙赫表示:“如何确保算法是公平的，如何确保算法是真正可以解释的，实现这些目标都还十分遥远。”

对于全球最大的在线零售商亚马逊来说，这项试验开始于一个关键时刻。由于低成本计算能力的激增，机器学习在技术领域获得了越来越大的吸引力。监管文件显示，亚马逊的人力资源部门即将开始大举招聘：自2015年6月以来，该公司的全球员工人数增加了两倍多，达到575700人。

因此，亚马逊在其爱丁堡工程中心成立了新的团队，其所属人员已经增加至12人。知情人士说，他们的目标是开发能够迅速在网络上搜索并发现有价值应聘者的AI系统。该团队创建了500个计算机模型，它们重点关注特定的工作功能和地点。他们教授每个模型辨认出现在过去求职者简历上的约5万个术语。

知情人士说，这些算法学会了新的技能，知道求职者普遍具备的技能没有什么意义，比如编写各种计算机代码的能力。相反，这项技术更青睐于那些用男性工程师简历上更常见的动词来描述自己的人，比如“执行”和“捕获”等。

性别偏见不是这种招聘工具唯一的问题。这些知情人士说，支撑模型判断的数据也存在问题，这意味着不合格的求职者通常会被推荐到各种工作岗位上。他们说，由于这项技术几乎是随机反馈结果，亚马逊关闭了这个项目。?

其他公司也在采取积极措施，这突显出雇主迫切希望利用AI招聘人才的心态。盐湖城附近的初创企业HireVue首席执行官凯文·帕克(Kevin Parker)表示，自动化正在帮助企业超越长期依赖的招聘网络。他的公司分析了求职者在视频面试中的讲话和面部表情，以减少对简历的依赖。他的公司客户包括联合利华(Unilever PLC)和希尔顿(Hilton)。

高盛已创建了自己的简历分析工具，试图将求职者与“最适合”的部门匹配起来。微软旗下的全球最大职业社交网站LinkedIn走得更远，它根据求职者在其网站上发布的简历是否符合职位要求，向雇主提供基于算法的求职者排名。不过，LinkedIn Talent Solutions副总裁约翰·杰辛(John Jersin)表示，这项服务并不能取代传统的招聘方式。他说:“我当然不会相信今天的任何AI系统会自行做出招聘决定，这项技术还没有成熟。”

有些活动人士表示，他们担心AI的透明度。美国公民自由联盟(American Civil Liberties Union)目前正在挑战一项法律，该法律允许对那些测试招聘网站歧视算法的研究人员和记者提起刑事诉讼。该组织Racial Justice Program律师雷切尔·古德曼(Rachel Goodman)说:“我们越来越关注算法公平性这一问题。”

尽管如此，古德曼和其他对AI持批评态度的人承认，要就自动招聘问题对雇主提起诉讼可能极其困难，毕竟求职者可能永远不会知道雇主在使用AI招聘。至于亚马逊，该公司设法从失败的AI实验中吸取教训。知情人士表示，亚马逊现在使用“经过大量稀释的”的招聘引擎版本，来帮助完成一些基本工作，包括从数据库中剔除重复的求职者资料。

另一名知情人士称，爱丁堡的亚马逊新团队将对自动招聘进行另一次尝试，这次的重点集中在多样化上。（小小）