陈根：算法黑箱与数据正义，如何改变人工智能的“恶意”？_风闻

文/陈根

不论承认与否，我们都已经进入了人工智能时代。尽管真正拥有知觉和自我意识的“强人工智能”仍属幻想，但专注于特定功能的“弱人工智能”已广泛出现在我们的生活。

在万物互联的背景下，以云计算为用，以个人数据为体，以机器学习为主的智能应用已经“润物细无声”。从今日头条的个性化推送到蚂蚁金服的芝麻信用评分，从京东的“奶爸当家指数”到某旅游网站用大数据“杀熟”，个人信息自动化分析已嵌入到我们日常生活之中。

与此同时，越来越多的数据产生了。算法逐渐从过去单一的数学分析工具转变为能够对社会产生重要影响的力量，建立在大数据和机器深度学习基础上的算法，具备越来越强的自主学习与决策功能。

算法通过既有知识产生出新知识和规则的功能被急速地放大，对市场、社会、政府以及每个人都产生了极大的影响力。算法一方面给我们带来了便利，比如智能投顾或智能医疗。但另一方面，它却绝非完美无缺**。由于算法依赖于大数据，而大数据并非中立****，这使得算法不仅可能出错，甚至还可能存在****“恶意”**。

数据并不正义，算法也难中立

一般来说，算法是为解决特定问题而对一定数据进行分析、计算和求解的操作程序。算法，最初仅用来分析简单的、范围较小的问题，输入输出、通用性、可行性、确定性和有穷性等是算法的基本特征。

算法存在的前提就是数据信息，而算法的本质则是对数据信息的获取、占有和处理，在此基础上产生新的数据和信息。简言之，算法是****对数据信息或获取的所有知识进行改造和再生产。

由于算法的“技术逻辑”是结构化了的事实和规则“推理”出确定可重复的新的事实和规则，以至于在很长一段时间里人们都认为，这种脱胎于大数据技术的算法技术本身并无所谓好坏的问题，其在伦理判断层面上是中性的。

然而，随着人工智能的第三次勃兴，产业化和社会化应用创新不断加快，数据量级增长，人们逐渐意识到算法所依赖的大数据并非中立。它们从真实社会中抽取，因此必然带有社会固有的不平等性**、排斥性和歧视****性**。

此外，正是深度学习引领了第三次人工智能的浪潮。目前大部分表现优异的应用都用到了深度学习，AlphaGo就是一个典型的例证。与传统机器学习不同，深度学习并不遵循数据输入、特征提取、特征选择、逻辑推理、预测的过程，而是由计算机直接从事物原始特征出发，自动学习和生成高级的认知结果。

在人工智能深度学习输入的数据和其输出的答案之间，存在着我们无法洞悉的**“隐层”，它被称为“黑箱”**。这里的“黑箱”并不只意味着不能观察，还意味着即使计算机试图向我们解释，我们也无法理解。

事实上，早在1962年，美国的埃鲁尔在其《技术社会》一书中就指出，人们传统上认为的技术由人所发明就必然能够为人所控制的观点是肤浅的、不切实际的。技术的发展通常会脱离人类的控制，即使是技术人员和科学家，也不能够控制其所发明的技术。进入人工智能时代，算法的飞速发展和自我进化已初步验证了埃鲁尔的预言。深度学习更是凸显了“算法黑箱”现象带来的某种技术屏障，以至于****无论是程序错误，还是算法歧视，在人工智能的深度学习中，都变得难以识别。

从价格歧视到算法偏见

算法对数据的掌控及后续分析，衍生出了丰富的信息要素，深刻影响经济与社会进程。在算法之下，个人信息的掌握和分析成为简单和日常的事情，人自然而然地成了计算的客体。由此衍生的算法歧视包括了价格歧视和算法偏见。

数据画像与算法的****运用，加剧了交易中的价格歧视。

早在20世纪70年代，就有精准广告的理念，企业掌握消费者信息成为提高企业利润的法宝。但当人工智能迎来第三次勃兴，算法在海量数据的加持下，对个人信息的掌握在范围、深度和精确度方面都有了量级的极大提升。我们自己不记得的事情算法却能进行娴熟调取，并使在此技术条件下绘制精确的“用户画像”成为可能。

现实社会中已经出现的**“大数据杀熟”，这也就是根据“用户画像”**量身定制的差异化、动态化定价机制发挥作用的结果。于是，利用算法推荐、大数据画像、精准个性化推荐等新技术，以往在线交易平台起的是信道的作用，其充当的角色消极而中立。而如今在商品和服务展示、交易规则安排、商品和服务评价、商户信用评价等方面，其所扮演的却已然是十分积极的。

平台收集消费者的身份数据、行为数据等，通过数据画像，透视消费者的消费意愿和预期价格，实施**“一人一价”、差异化定价，这种价格歧视的实质正是利用算法与大数据来“杀熟”或“杀贫”**。如滴滴平台通过大数据分析，在同一起点与终点的情况下，老用户打车费比新用户高，苹果手机用户打车费比安卓手机用户要贵。

哈佛商学院通过调研发现，Airbnb.com出租房屋网站的非黑人房东平均每晚为144美元，黑人房东的房租为每晚107美元。美国零售商Staples利用算法实行“一地一价”，甚至高收入地区比低收入地区折扣还大。价格面前人人平等的规则被颠覆，追逐利润的“合法歧视”登堂入室。日常生活消费中的**“人群捕捞”**恐慌挥之不去，商家与消费者之间因此产生了严重的信任危机。

其次，越来越多的事例表明，算法歧视与算法偏见客观存在**，这将使得社会结构固化趋势愈加明显。**早在20世纪80年代，伦敦圣乔治医学院用计算机浏览招生简历，初步筛选申请人。然而在运行四年后却发现这一程序会忽略申请人的学术成绩而直接拒绝女性申请人以及没有欧洲名字的申请人，这是算法中出现性别、种族偏见的最早案例。

今天，类似的案例仍不断出现，如亚马逊的当日送达服务不包括黑人地区，美国州政府用来评估被告人再犯罪风险的COMPAS算法也被披露黑人被误标的比例是白人的两倍。算法自动化决策还让不少人一直与心仪的工作失之交臂，难以企及这样或那样的机会。而由于算法自动化决策既不会公开，也不接受质询，既不提供解释，也不予以救济，其决策原因相对人无从知晓，更遑论“改正”。

**面对不透明的、未经调节的、极富争议的甚至错误的自动化决策算法，我们将无法回避“算法歧视”与“算法暴政”**导致的偏见与不公。随着算法决策深入渗透我们的生活，我们的身份数据被收集、行迹被跟踪，我们的工作表现、发展潜力、偿债能力、需求偏好、健康状况等特征无一不被数据画像，从而被算法使用者掌控。

如今不管是贷款额度确定、招聘筛选、政策制定乃至司法辅助量刑等，诸多领域和场景中都不乏算法自动化决策。社会原有的结构将被进一步固化，个体或资源在结构框架之外的流动愈发被限制。算法对每一个对象相关行动代价与报偿进行精准评估的结果，将使某些对象因此失去获得新资源的机会，这似乎可以减少决策者自身的风险，但却可能意味着对被评估对象的不公。

“数字人”的数据规制

当我们进入大数据时代，在数字化生存下，不管是“社会人”还是“经济人”，我们首先都是“数字人”。现实空间的我们被数据所记载、所表达、所模拟、所处理、所预测，现实空间的歧视也是如此。

正因****为如此，对算法规制首先要对数据进行合理规制，而对数据的规制不仅需要国家层面的治理，更包含对个人和群体行为的引导。当然，不管是国家管理还是对个体或群体进行行为引导，技术与法律往往都不可缺位。

2018年5月25日生效的欧盟《统一数据保护条例》（GDRR）就在1995年《数据保护指令》（Directive 95/46/EC）的基础上，进一步强化了对自然人数据的保护。《统一数据保护条例》不仅仅提供了一系列具象的法律规则，更重要的是它在“数据效率”之外，传递出“数据正义”（data justice）的理念，这也使其可成为我国可借鉴的他山之石。对数据进行合理规制要做到以下几点：

首先，尊重个人的选择权。当自动化决定将对个人产生法律上的后果或类似效果时，除非当事人明确同意，或者对于当事人间合同的达成和履行来说必不可少。否则，个人均有权不受相关决定的限制。

其次，将个人敏感数据排除在人工智能的自动化决定之外。这些敏感数据包括政治倾向、宗教信仰、健康、性生活、性取向的数据，或者可唯一性识别自然人的基因数据、生物数据等。这些数据一旦遭到泄露、修改或不当利用，就会对个人造成不良影响。而法律首先要做的，就是更加小心和负责地收集、使用、共享可能导致歧视的任何敏感数据。

**再次，要识别和挑战数据应用中的歧视和偏见，“数据透明”****就不可或缺。**换言之，它要求在数据生产和处理日趋复杂的形势下，增强个人的知情权，从而修复信息的对称性。比如，在银行收集个人数据时，应当告知其可能使用人工智能对贷款人资质进行审核，而审核的最坏结果（如不批贷）也应一并披露。此外，由于我们都不是技术专家，因此，这里的“有用信息”不但应浅显易懂，为每个人理解，而且要有助于每个人主张自己在法律下的权利。

除了对数据的规制，对于算法的规制**，需要强制实施算法技术标准和可追溯****。**目前的算法本质上还是一种编程技术，对技术最直接的规范方式是制定标准，而标准也是国家相关部门进行管理的最直接依据。

对于人工智能算法要全面提高标准认识和理念，提高新产业制度成本的可预见性，减少新技术的混乱发展。如在国际层面，技术规范体系通常表现为“技术法规+技术标准+技术认证”的体系。

其中，技术法规有强制力，规定不同行业的描述性技术要求；技术标准是针对具体技术指标的要求，其主要功能是支撑技术法规，其效力在我国实际对应的是团体标准。但该标准在我国没有法律地位，政府、企业和社会中的很多人还没有标准意识，更缺乏标准投入。

**另一方面，****要统筹现有法律制度规定的责任形式。**考察《电子商务法》《网络安全法》、《计算机信息系统安全保护条例》等有关法律法规，规制算法的方式主要有两种：**一则，直接针对算法程式设计者和算法服务提供者进行规制，**如《网络安全法》明确规定网络服务要符合国家强制标准、不得设置恶意程序，如果发生问题要及时补救漏洞和保障安全。

**二则，设定相关行政管理部门的监管职责从而间接遏制算法侵权现象的发生。**例如，《电子商务法》主要规制了电子商务经营者的行为并设定了其相关责任，包括信息披露和保护、搜索与广告、服务和交易等方面的算法规则规制;《网络安全法》则主要全方位地规定行政机关的监测、维护和管理职责，包括监测预警和应急处置、网络运行与信息安全维护等。

当然，任何社会规则的更迭与技术的发展总是相伴而行的，而面对日新月异的新技术挑战，特别是人工智能的发展，我们能做的，就是把算法纳入法律之治的涵摄之中，从而打造一个更加和谐的大数据时代。