当对穷人进行刑事化的技术升级 - 彭博社

无家可归的人在洛杉矶市中心的斯基德罗区域的帐篷里睡觉，尤班克斯在这里进行她关于协调入境系统的研究——被称为无家可归服务的Match.com。贾·C·洪/AP五十年前的三月，马丁·路德·金博士在华盛顿国家大教堂发表演讲，这成为了他 最后的星期天讲道。他谈到了他所看到的全球范围内发生的三大变化的危险与承诺——他称之为“三重革命”，包括自动化、核武器的出现以及全球人权斗争。关于第一项，他当时指出：

通过我们的科学和技术天才，我们已经将这个世界变成了一个邻里，但我们却没有道德上的承诺将其变成一个兄弟会。

正是这篇演讲，维吉尼亚·尤班克斯，纽约州立大学奥尔巴尼分校的政治学副教授，在她的新书 自动化不平等：高科技工具如何对穷人进行画像、监控和惩罚 *的结尾再次提到。*在书中，尤班克斯对一些看似中立——甚至是出于好意的技术进行了深入剖析，这些技术承诺使美国的福利体系高效运转。评估医疗补助和食品券资格的自动化系统、将无家可归者与资源匹配的数据库、检测儿童虐待案件的统计工具都被视为福利机构的游戏规则改变者。但尤班克斯揭示了这些复杂技术的真相，详细说明了它们如何妨碍那些声称要帮助的人的人权和尊严。她认为，金博士在这一方面的愿景，和许多其他方面一样，尚未实现。

彭博社城市实验室随着乡村医院关闭产科病房，城市医院也随之而来伦敦的奥运遗产如何重塑被遗忘的东区香港的旧机场成为城市房地产痛苦的象征来自过去的响亮警告：与汽车共存城市实验室与尤班克斯进行了交流，讨论她书中的一些主要主题。

你开始时阐述了一个迷人而麻烦的贫困管理系统历史：从地狱般的“贫民院”到 科学慈善运动，新政福利机制到福利的自动化。共同的线索是什么？

当我们谈论新技术时，常常将其视为“颠覆者”——那些动摇我们当前系统的事物。我在书中的一个重要论点是，我所谈论的工具更多的是演变而非革命。因此，这段历史真的非常重要。

我之所以以一个实体的贫民院开始这本书，是因为它是19世纪最具创新性的贫困管理系统。它源于一次巨大的经济灾难——1819年的经济萧条，以及人们为保护自己和家人而组织的社会运动。贫民院真正重要的是——这是贯穿我书中所有内容的线索——它是基于当时所谓的“无能”和“能干”贫困者之间的区别。“无能”贫困者是指因身体残疾、年龄或虚弱而无法工作的人。“能干”贫困者是那些当时的道德监管者认为可能能够工作，但可能只是逃避责任的人。

今天我们所谈论的无能贫困者与能够贫困者之间的区别，实际上就是我们所说的“应得的”和“不应得的”贫困者，这种区别创造了一种公共援助系统，这个系统更像是一个道德温度计，而不是一个保护每个人基本人权的底线。

我认为这就是为服务于贫困工人阶级社区的所有行政公共援助系统深层社会编程。这种社会编程常常以无形的假设表现出来，推动着我在书中所谈论的不平等自动化。

让我们再谈谈“数字贫民窟”，你认为这是对这些控制贫困者的旧系统的延伸。它是什么时候出现的？

我在书中谈到的一个最重要的历史时刻是我所称的“数字贫民窟”的兴起，这实际上是从相当复杂但模拟的控制系统转向数字化和综合控制系统的转变。

当我第一次开始写这本书时，我实际上是在纽约州档案馆寻找贫困管理系统开始计算机化的技术文件。我原本以为这会发生在1980年代，随着个人计算机的广泛使用，或者在1990年代，当时围绕福利改革的实际政策变化要求地方福利办公室计算机化他们的一些流程。

但实际上，我发现公共援助管理中转向计算机的发生是在1960年代末和1970年代初。这让我感到非常惊讶。我了解到，就在那个时候，出现了一个非常成功的全国福利权利运动，挑战公共援助项目中的歧视性资格规则。它成功地让那些过去被不公正排除在外的人，尤其是有色人种女性和未婚母亲，能够进入福利名单。因此，名单迅速扩大。尽管重要的是要理解，公共援助从未覆盖到贫困线以下人数的50％，但在1970年左右，它接近50％。生活在贫困线以下的儿童中，有五分之四的人正在接受某种形式的公共援助。与此同时，针对民权运动，尤其是黑人权力运动的反弹，以及经济衰退也在发生。

这是“数字贫困之家”出现的时刻，这些新技术开始发挥作用。如果你看看失业人数的规模，它们基本上就在那个时刻开始下降，并持续呈下降趋势直到今天——不到10%的人在贫困线以下获得现金援助。

你探讨了三个具体的案例研究。第一个是在印第安纳州，立法者推动自动化和私有化福利资格系统——包括现金援助、食品券和医疗补助。这有什么影响？

所以在2006年，印第安纳州签署了这个非常大的合同——当时是11.6亿美元——与一组高科技公司，包括IBM和[附属计算机服务（ACS）]。它用在线论坛和主要由私人员工组成的区域呼叫中心取代了大多数地方的案件工作者。

结果是在项目的前三年内有100万次福利拒绝，这比自动化前的三年增加了54%。大多数情况下，人们被拒绝的原因是一个笼统的理由——“未能合作以确定资格”——这基本上意味着申请中某处出现了错误。

所以，填写表格时的技术问题。

是的，规则变得非常脆弱。由于人们不再与他们的案件工作者建立个人关系，因此他们很难以能够保留福利的方式作出回应。他们有点孤立无援。

解释一下这背后的人的代价。

这些申请的长度从20页到120页不等。因此，回过头来弄清楚你可能在哪里犯了错误，或者州政府在哪里犯了错误，或者文件处理中心在哪里犯了错误是非常棘手的。所有的错误最终都归咎于申请人。这确实导致了一些巨大的、毁灭性的悲剧。

我在书中讲述的一个故事是关于Omega Young，她是一位来自印第安纳州埃文斯维尔的50岁非裔美国妈妈。由于她在医院因晚期卵巢癌而住院，她错过了重新认证医疗补助的电话预约。她确实提前打电话告诉办公室，她无法按时参加电话预约。但她还是因为“未能配合确定资格”而被切断了。她无法负担药物，支付房租也有困难，失去了免费交通去医疗预约的机会。尽管她的家人不会将州政府视为她死亡的责任，但她确实在2009年3月1日因癌症去世。第二天，3月2日，她赢得了对错误终止福利的上诉，所有的福利都得到了恢复。

因此，这个过程无疑使她的最后日子充满了本不该有的压力和痛苦。

你还查看了洛杉矶的“协调入境系统”，该系统于2013年启动，类似于无家可归服务的Match.com。它基于有效的住房优先方法，首先旨在为无家可归者提供一个栖身之所，然后再以其他方式帮助他们。协调入境系统本身由一项调查组成，收集有关无家可归者的信息，并将其输入数据库。然后，一个算法根据“脆弱性指数”对案件进行排名，以便最脆弱的个体可以优先得到帮助。

乍一看，这似乎相当积极。

住房优先的方法显然是应对住房危机的一个非常积极的方式。我认为有充分的理由来优先考虑这个问题。仅在洛杉矶县就有58,000名无家可归者，而目前的住房资源不足以满足所有人的需求。因此，我理解这种冲动。

但我在这本书中做的一件可能有点不同的事情是，我从无家可归者自身的角度出发，他们是这个系统的目标。从他们的故事中，我最深刻的感受是，他们在与系统互动时必须做出的艰难选择。因为我提到的那项调查？它询问一些非常私密甚至故意刑事化的个人行为问题。[它]询问你是否在没有保护的情况下发生性关系，是否以性交易换取金钱或毒品，是否考虑伤害自己或他人，是否为他人贩毒，是否有未决逮捕令。如果你对这些问题回答“是”，你可能在脆弱性指数上获得更高的分数，这会让你在住房方面获得优先权。

“我担心的是，有时这些系统会作为同情心的替代——我们允许这些机器做出我们作为人类难以做出的决定。”根据现有的联邦数据标准，存储在这个无家可归者管理信息系统（HMIS）数据库中的信息可以仅凭口头请求被执法部门访问。因此，你不需要逮捕令——甚至不需要书面请求。因此，对我所交谈的许多人来说，这个系统与刑事司法系统之间的界限并不明确。

我想要非常公正；确实有一些人说：“协调入驻是上天的恩赐。这是我经历过的最好的事情，因为它帮助我找到了住所。”我还要说，即使是那些成功的人也曾对这件事进行反思：“我能找到住所真奇怪，而我认识的许多经历与我相似的人却没有找到住所。这似乎不太对。”

但是对于那些没有成功找到住所的人，比如加里·博特赖特，这种对无家可归者社区在住房资格上进行评估的想法真的让他们感到非常困扰。加里在我与他交谈时64岁。他已经无家可归，时断时续地在街头生活了将近十年。他对我说：“这只是另一种推卸责任的方式。”问题不在于给人打分，真正的问题是洛杉矶的58000人根本没有足够的住房。

而人们所担心的事情确实发生在加里身上。这并不能直接归因于协调入驻系统，但他在街头待的时间足够长，以至于无家可归的日常行为常常被视为犯罪——在路边睡觉、把东西留在路边和公共场所小便——使人们面临被刑事化的风险。据我所知，他有一天在公共交通上非常生气，因攻击公交车而被逮捕。他在监狱里待了将近九个月。他现在已经出来了，过得很好。

所以，这与Khiara M. Bridges在她的书中提出的论点关于隐私权和领取福利的母亲：并不是说人们选择用他们的隐私换取某种利益，而是他们实际上并没有真正的选择。

是的，这里同意的问题很重要。在洛杉矶，接受[这项调查]的人确实签署了一份详细的知情同意文件。但在我看来，如果获得基本人类需求如住房的权利在某种程度上依赖于你填写这份表格，那么你就拉伸了知情同意的边界。

同意书的一部分写道：“我们会将这些信息与许多其他机构分享，如果你想了解更多，你必须请求这份其他表格。”那些通过请求第二份表格的过程的人会得到一份与168个机构共享这些信息的名单。你可以要求从数据库中删除，但你这样做的过程实际上是非常不清楚的——而且你的一些信息仍然保留在[数据库]中。该同意有效期为七年，你必须主动停止它——通过书面形式说：“我撤回我的同意。”

因此，人们对这些信息的使用和共享感到担忧是合理的。

在你的第三个案例研究中，你深入探讨了宾夕法尼亚州阿勒格尼县的预测统计工具，该工具在一个包含29个不同公共项目的数据库中进行搜索——包括执法、公共学校和公共住房记录。然后，它为儿童被虐待或忽视的可能性赋予一个数值。负责接听报告虐待电话的工作人员应该利用它来补充他们在这些案件中的决策。

我设置这些案例的方式是，第一个案例，即印第安纳州的案例，在某种程度上感觉是最容易理解的。它有我们熟悉的所有角色——一个贪婪的公司、承包商，以及某些政治家的不良意图。当我们谈到阿勒格尼县的案例时，故事在伦理和技术上变得更加复杂。风险当然感觉非常高，因为我们在谈论儿童的安全。我与阿勒格尼县的人交谈时，他们似乎有绝对出色的动机和意图。他们做了我们谈论算法公正和公平的人所要求的设计者应该做的一切：围绕系统进行了参与式设计过程；他们几乎完全透明地展示了模型中的内容；该模型由公共机构控制，因此在某种程度上有一定的问责制。

但系统中仍然有一些部分令人深感不安。有两件事值得注意。一是——这可能看起来很明显——[系统]仅能访问它所能访问的数据。这个模型是基于对公共项目的访问数据构建的。因此，如果你通过私人保险获得心理健康服务，或者通过家庭获得经济帮助，你就不在系统中。我认为这是一种贫困画像，贫困父母被卷入一种非常侵入性的监视反馈循环。

这也意味着该模型可能缺少关键变量，因为这些变量不包含在可用数据的范围内。它不包括地理隔离等因素，研究人员表示这与忽视和虐待有预测关系。这在这个数据库中不会显示，因为大多数在阿勒格尼县获得县服务的人生活在密集的城市社区中。

关于这个系统的另一点是，它使用代理来代替实际的儿童虐待。幸运的是，在阿勒格尼县，每年只有少数实际的[儿童虐待案件]，这很好，因为这意味着儿童相对安全。但这也意味着没有足够的数据来实际生成一个可行的模型。因此，制作这个模型的人不得不选择实际儿童虐待的替代指标。其中一个代理称为儿童重新转介，这意味着儿童曾被报告过，但该报告被筛选掉了。然后在两年内，儿童再次被报告。

但该机构自己的数据显示，阿勒格尼县儿童福利系统中存在的种族不成比例的主要部分是通过电话转介进入系统的。黑人和混血家庭被强制报告者或匿名举报者报告的可能性是其他家庭的三倍半。因此，这是种族不公正进入系统的一个非常重要的点。这可能会使这种不成比例性更严重。

在所有这些情况下，似乎都有这样一个观点：技术可以帮助消除人类的偏见——比如种族主义——从而使过程不仅更高效，而且更公平。

承认前线案例工作者的偏见决策一直是并且仍然是公共服务中的一个问题，这一点非常重要。但我所主张的是，在许多情况下，我所研究的工具并没有消除偏见，而只是将其转移到另一个地方。

基本上，这些系统似乎在争辩，人类决策是一个不可知的黑箱——我们根本无法知道是什么驱使前线案例工作者以某种方式做出决策。我所主张的是，这是一种非常特定的理解偏见的方式——偏见要么是个体持有的有意识或无意识的 个人态度，而不是一种 结构性和 系统性融入我们机构中的东西。

实际上，通过消除前线的自由裁量权，有可能将偏见推向极端。偏见在编码的基础层面被构建到系统中——这就是我们所拥有的数据。就像我谈到贫困画像时？我们只收集获得公共服务的人的数据。没有关于接受私人服务以支持自己的人的信息是一种偏见。因为这些偏见从前线人类转移到系统的隐形后台，我相信它们被放大和加剧的潜力是巨大的。正如书中所示，这些系统并不是特别透明。

我也对人类决策不可知的伦理前提感到深深困扰，而机器决策则是透明和负责任的。在我看来，这似乎阻碍了社区的伦理发展——我们可以讨论事情并变得更好；我们可以承认偏见并努力克服它。这似乎是工作，而这在我看来是一种避免进行这项工作的方式。

那么，谈谈为什么这些发展如此重要——不仅仅是对穷人和为他们辩护的人——而是对整个社会。

社会编程的一部分是认为穷人是这小部分可能有病态的人。理解这一点非常重要，在美国，54%的人在25到60岁之间的某个时刻会陷入贫困。 三分之二的人将会接触到一种基于收入的公共项目，这实际上就是直接的福利。因此，现实是这些系统已经是一个主要关注点。[2015年的一项研究显示，五分之四的美国人可能在生活的某个时刻面临“经济不安全”，这包括使用基于收入的福利项目、经历贫困或失业。]

即使你对此不在乎，理解在那些对人权保护期望较低的地方测试的工具是非常重要的，这些系统就会受到任务蔓延的影响。它们最初可能是有限的，并且在使用上有严格的规则，但随后会发生一些变化。比如，政治管理层的更换。

那么我们应该如何在未来思考这个问题呢？

从根本上说，我认为我们可以做得比现在更好。我们值得更好的结果。

其中一部分是以我们的价值观为中心来设计这些工具。因此，效率、基于证据的政策和最大影响力绝对应该是这些价值观之一，但公平、正义、公正、自我决定和人类尊严也应该是其中的一部分。如果你从一个原则出发来设计，原则是“公共服务系统应该是我们所有人的基础，而不是道德温度计”，那么你会得到一个非常不同的系统。这实际上是关于在设计系统之前明确选择我们的政治价值观*，而不是假设影响是中立的，然后对一切是如何变得糟糕而感到困惑。*

更大的问题是目前在这个国家围绕不平等进行的对话——不仅仅是经济不平等，而是更广泛的不平等。我希望人们从这本书中了解到，尽管我们常常将这些系统视为颠覆者或平衡者，但至少在我研究的案例中，它们实际上更像是我们已有系统的强化器或放大器。改变这些技术的运作方式实际上是非常深刻的文化工作，特别是在重新定义贫困为一个多数问题而不是少数问题，重新定义贫困者为一种政治身份，并帮助人们看到彼此在差异线之间的共同经历。

这种文化变革可能有助于推动政治变革，使我们摆脱仍然存在于公共援助系统中的贫民窟遗产——远离那些主要关注你的贫困是否是你自己的错，而不是寻找能够支持人们自我决定和释放他们人类能力的方法的系统。

然而，与此同时，我们需要这个系统减少伤害，因为我真的相信，许多这些系统正在以破坏生活的方式改变辛勤工作的家庭的生活。

最后有什么想说的吗？

我与这三个系统中所有管理员和设计师交谈时发现的一个共同点是，他们会说：“看，我们没有足够的资源。我们必须做出非常艰难的决定，而这些工具帮助我们做出这些艰难的决定。”我想指出的是，我们没有足够的资源来帮助每个人，我们必须进行分流？我们必须配给护理？这是一个政治决定。

我最担心这些系统的一件事是，它们让我们保持必要的情感距离，以做出不人道的决定。比如，我不想成为那个看着洛杉矶58000人、只有少数资源并决定谁能获得这些资源的个案工作者。那是一个极其困难的决定。我担心的是，有时这些系统充当了同情心的替代品——我们允许这些机器做出作为人类我们难以做出的决定。这是我们真正需要关注的事情，因为从长远来看，这意味着我们放弃了彼此关心的共同目标。我不认为这就是我们作为一个社会的本质。