人工智能需要做一些解释 - 彭博社

人工智能 软件可以识别面孔，翻译普通话和斯瓦希里语，并在围棋、国际象棋和扑克等游戏中击败世界上最优秀的人类选手。它无法始终做到的是解释自己。

人工智能是能够从数据或经验中学习以进行预测的软件。计算机程序员指定软件应学习的数据，并编写一组指令，称为算法，关于软件应如何做到这一点——但并不具体规定它应学习什么。这就是人工智能大部分力量的来源：它可以发现数据中的联系，这些联系对人类来说会更复杂或更微妙。但这种复杂性也意味着，软件得出任何特定结论的原因通常对其创造者来说也是相当不透明的。

彭博社商业周刊如何让Jellycat毛绒玩具成为Z世代的痴迷降息需要时间才能在经济中发挥作用哈马斯袭击以色列以引发更广泛的冲突。一年后，它实现了这一目标如何让Bogg Bags，这种拖鞋的手提包，赢得美国妈妈们的青睐对于希望销售人工智能系统的软件制造商来说，这种缺乏透明度可能对业务不利。人类很难信任一个他们无法理解的系统——而没有信任，组织就不会为人工智能软件支付高额费用。这在医疗、金融和执法等领域尤其如此，因为错误推荐的后果比例如Netflix认为你可能喜欢观看*《宿醉3》*时要严重得多。

监管也在推动公司要求更多可解释的人工智能。在美国，保险法要求公司能够解释为什么拒绝某人的保险或向他们收取比邻居更高的保费。在欧洲，通用数据保护条例于五月生效，赋予欧盟公民对任何影响他们的算法决策“进行人工审查的权利”。如果银行拒绝你的贷款申请，它不能仅仅告诉你计算机说不——银行员工必须能够审查机器拒绝贷款申请所使用的过程或进行单独分析。

插图：Félix Decombat 为《彭博商业周刊》绘制大卫·肯尼（David Kenny），直到本月初还是国际商业机器公司（IBM）认知服务的高级副总裁，他表示，当IBM对5000家企业进行人工智能使用调查时，82%的企业表示他们希望这样做，但其中三分之二的公司表示他们不愿意继续，缺乏可解释性被认为是接受的最大障碍。现在有60%的高管表示担心人工智能的内部运作过于不透明，较2016年的29%有所上升。“他们在说，‘如果我要在承保风险或食品安全方面做出重要决策，我需要更多的可解释性，’”肯尼说，他现在是尼尔森控股公司的首席执行官。

作为回应，软件供应商和IT系统集成商开始宣传他们能够为客户提供有关人工智能程序思考方式的洞察。在12月初于蒙特利尔举行的神经信息处理系统会议上，IBM的展位宣传其基于云的人工智能软件提供“可解释性”。IBM的软件可以告诉客户算法在做出决策时最重视的三到五个因素。它可以追踪数据的来源，告诉用户算法使用的信息片段来自何处。肯尼表示，这对于检测偏见可能很重要。IBM还提供工具，帮助企业消除可能存在歧视的数据字段——例如种族——以及与这些因素密切相关的其他数据点，例如邮政编码。

量子黑，一个帮助公司设计系统以分析数据的咨询公司，在会议上宣传其在创建可解释人工智能方面的工作，并且有许多学术演讲讨论如何使算法更具可解释性。埃森哲公司开始推广“公平工具”，这些工具可以帮助公司检测和纠正其人工智能算法中的偏见，德勤和毕马威等竞争对手也在这样做。谷歌，作为字母表公司的一部分，已经开始为使用其机器学习算法的人提供更好理解其决策过程的方法。在六月，微软公司收购了 Bonsai，一家承诺构建可解释人工智能的加州初创公司。Kyndi，一家来自加利福尼亚州圣马特奥的人工智能初创公司，甚至注册了“可解释人工智能”这一术语，以帮助销售其机器学习软件。

人工智能算法决策的透明度与其有效性之间可能存在权衡。“如果你真的进行解释，这将会影响模型的质量，”俄罗斯互联网巨头Yandex NV的首席技术官米哈伊尔·帕拉金说，该公司在许多应用中使用机器学习。“完全可解释的模型集是一个有限的模型集，它们通常不够准确。没有办法绕过这一点。”

帕拉金是那些担心一些人工智能软件供应商提供的解释实际上可能比没有解释更糟糕的人之一，因为试图将非常复杂的决策简化为少数几个因素时会失去许多细微差别。“这些工具中的很多只是给你假装的心理安慰，”他说。

字母表旗下的人工智能公司DeepMind与英国的摩菲尔德眼科医院合作，开发了机器学习软件，以与人类专家一样的能力诊断50种不同的眼病。因为公司担心医生在不了解诊断建议背后过程的情况下不会信任该系统，所以选择使用两种算法：一种识别图像中似乎表明眼病的区域，另一种利用这些输出得出诊断。以这种方式分开工作使医生能够准确看到眼部扫描中导致诊断的内容，从而增强了他们对整个系统的信心。

“这种多模型方法在我们对最终决策所涉及的推理有足够了解并能够在这种推理上进行训练的情况下，非常有利于可解释性，”DeepMind的研究员Neil Rabinowitz说，他在可解释性方面做过研究。但通常情况并非如此。

解释还有另一个问题。“解释或解释的适用性取决于我们支持的任务，”俄勒冈州立大学的计算机科学名誉教授Thomas Dietterich在推特上指出。他写道，试图调试人工智能软件的工程师的需求与使用该软件做决策的公司高管所需了解的内容截然不同。“没有一种普遍可解释的模型。”