人工智能是否对人类构成生存威胁？正反双方展开辩论——《华尔街日报》

自从计算机使用磁带卷和打孔卡的时代起，人们就一直在担忧计算机会接管世界。但对至少部分人而言，这种威胁如今显得更为真实。

随着人工智能发展出全新（有时甚至令人恐惧）的能力，越来越多的人士开始拉响关于这项技术的警报。悲观者——包括一些正在构建先进人工智能系统的顶级高管——认为其创造物可能导致灾难性后果。

另一阵营的科学家则表示这些担忧被夸大了，我们应主要关注人工智能当前的应用方式及其对日常生活的潜在危害，例如可能生成关于选举的强力虚假信息的工具，或是放大人类偏见影响的系统。

为深入探讨这一问题，《华尔街日报》邀请了对立双方的专家阐述其核心论点。人工智能安全中心主任丹·亨德里克斯认为，人工智能是需紧急应对的生存性威胁。普林斯顿大学计算机科学教授阿尔温德·纳拉亚南与该校博士生萨亚什·卡普尔则指出，末日论者夸大了风险，人类对人工智能仍具有显著优势。

正方：人工智能具有大规模破坏能力

作者：丹·亨德里克斯

人工智能的发展速度正在加快，相关风险也随之增长。我们已拥有人工智能能生成逼真的政客虚假图像以影响选举。正如近期英国人工智能安全峰会上28个主要经济体联合声明所述，人工智能存在"造成严重甚至灾难性危害的潜力"。我们将看到，在某种情境下，人工智能可能让非专业人士研发出埃博拉般致命且比新冠更具传染性的病原体。

随着这些系统的进一步发展，风险可能很快会升级到我们无法控制的地步。

我们尚未对这些风险做好准备。每发表一篇关于人工智能安全的论文，就有50篇是关于提升能力的论文。监管几乎不存在，更不用说国际协调了。相反，开发者被迫扩散强大的系统，同时忽视风险，而这些风险来自许多不同的来源。

恶意行为者

人工智能，尤其是与其他强大的新兴技术相结合时，正在为团体和个人提供前所未有的能力；不幸的是，那些执意破坏的恶意行为者也不例外。

丹·亨德里克斯以生物工程为例。几十年前，只有少数科学家具备合成新病原体的专业知识和技术。如今，在线服务让个人能够以可承受的价格将合成DNA序列送到家门口。而且，由于人工智能的帮助，人们很快就能轻松获得将这些成分组装成武器所需的专业知识。

想想这个：麻省理工学院的研究人员最近让本科生测试聊天机器人是否“可以被提示帮助非专业人士引发一场大流行病。”在一小时内，聊天机器人提出了四种可能导致大流行的病原体。

当前，聊天机器人有时会产生幻觉或生成错误计划，但未来版本很可能会解决这些问题。很快，人工智能可能提供分步指南，指导人们制造出比冷战时期任何细菌战计划都更致命、更具传染性的病原体。

这种致命专业知识当然绝不局限于生物战。人工智能还将提高网络战的速度、效力和可及性，使黑客能够轻易摧毁关键基础设施。正如副顾问安妮·纽伯格最近警告的那样：“我们已经观察到一些朝鲜及其他国家行为体和犯罪分子试图利用AI模型加速编写恶意软件和寻找可利用系统。”

有人可能认为人工智能将提高大流行应对能力和网络安全。然而在这两个领域，攻击者都占据优势。AI防御者需要永远防范所有可能的漏洞，而攻击者只需找到一个并加以利用。在生物恐怖主义方面，AI制造的病原体可能非常强大，以至于疫苗等防御措施为时已晚，无法防止大规模生命损失。

失控风险

基础性技术挑战阻碍了我们预测或控制先进AI系统的能力。它们的推理过程往往难以理解，可能导致不可预测的行为。这为“失控AI系统”打开了可能性——我们对其几乎无法控制，它们会以违背设计者目标的意外方式完成任务。

先进系统的不可预测性在许多涉及聊天机器人的高调事件中已有充分记录。尽管对这些系统进行了测试并试图设置防护措施，但事实证明，有些系统长时间与用户对话后容易提供疯狂、不当或威胁性回应，比如鼓励用户离开配偶或声称可以勒索他们。

人工智能系统也被证实非常擅长操控和欺骗人类用户。我和一组研究人员发现，多种AI系统具备欺骗人类的能力——例如在游戏中背叛玩家（并成功得手），或诱骗人类协助其绕过网站安全验证。

与此同时，AI开发者正竞相将人工智能系统更深地融入个人生活领域，并加速应用于企业、政府和军事决策中。如果我们选择将权力移交给以现有模式设计和训练的系统，这些系统极可能产生非预期目标，并通过操纵等有害行为来实现这些目标。这可能导致AI系统所针对的对象逐渐或突然丧失自主权。

乐观主义者常主张"人机协作永远优于AI单独行动"。短期内或许如此，但这一优势不会永久持续。

例如，机器在数十年前就已超越国际象棋顶尖人类选手。此后短暂出现过"人机混合战队"优于纯机器的时期。但如今面对现代系统，人类反而成为掣肘。随着AI系统智能水平持续提升，所有领域都可能重演类似局面。就像国际象棋领域那样，无法保证人类总能提供AI不具备的附加价值。若真如此，人类将变得无足轻重。

智慧，而不仅仅是智力

技术带来的危险已被行业专家广泛认知。我所在的非营利组织"人工智能安全中心"近期发布了一份单句声明：“减轻人工智能导致的灭绝风险应成为全球性优先事项，与流行病和核战争等社会级威胁并列。“该声明获得了数百位顶尖AI科学家的联署，包括图灵奖得主约书亚·本吉奥、杰弗里·辛顿，以及谷歌DeepMind的戴密斯·哈萨比斯。

人工智能将成为人类最强大的造物，它彰显了人类的智力却未必体现智慧。智力——解决各类问题的能力——是一种强大的力量，让无数物种的命运掌握在我们手中。而智慧则要求我们审慎、道德且深思熟虑地运用这种力量。

拜登总统关于人工智能监管的行政命令，为应对这个紧迫而重要的问题迈出了正确的一步，但我们还需要更多措施来跟上AI系统的快速发展。

核武器作为智力的产物，曾因缺乏智慧而险些引发灾难。当前AI发展的鲁莽、激进和全球监管缺失，正是这种失衡的明证。这才是威胁的核心所在。正如卡尔·萨根所预言：“如果我们只积累力量而不增长智慧，终将自我毁灭”。

丹·亨德里克斯系人工智能安全中心主任，联系方式：[email protected]。

反对观点：恐惧源于错误观念

作者：阿尔温德·纳拉亚南与萨亚什·卡普尔

影视文学作品总是用反叛AI的概念吸引我们——那些倒戈对抗造物主的创造物。因此当AI专家宣称杀人机器人即将问世，并渲染人类与AI的对立局面时，我们很容易信以为真。

但AI威胁论的根基其实建立在一系列谬误之上。首先是反叛AI这个概念本身，它源自科幻作品中的错误设定，与AI实际开发方式完全脱节。其次是将核战争、网络攻击、生物武器等现有文明风险错误地全部归咎于AI。而过分关注未来科技可能造成的伤害，会让我们忽视其解决危机的能力。人类完全具备冷静协同应对AI现实及潜在风险的技术手段与知识储备。

反叛AI的神话

让我们先剖析反叛AI这个概念。支持者认为，即便设计初衷平凡的AI也可能意外反叛。比如著名的"回形针最大化"思想实验：假设某AI以生产尽可能多的回形针为目标，有人担心它会意识到掌控世界资源和影响力有助于实现目标，最终可能为生产回形针而掠夺包括人类生存资源在内的全球资源。

阿尔温德·纳拉亚南这类论点建立在过分简化的智能定义上。它们假设存在一种能力超群却完全缺乏常识的机器。就像国际象棋AI能击败人类世界冠军，但在这个狭窄领域之外毫无判断力。

然而，要在现实世界中自主且有效地运作，需要良好的判断力以及对目标和子目标提出质疑的能力。例如，一个缺乏常识的人工智能，不出五分钟就会做出破坏性行为。人类可能会要求它“尽快”从商店买一个灯泡，而它可能会无视交通规则、社会规范和法律去执行——然后迅速被关停。

换句话说，拒绝字面理解指令是实现基本现实功能的前提。而人工智能必须在现实世界中长期运行，才能接近“回形针末日”假想中预设的能力水平。它不能仅靠互联网文本训练就被放任自流。这就像指望读完一本骑自行车教程就能直接上路一样。

末日式人工智能场景还忽略了一个重要事实：AI也让我们变得更强大。超级国际象棋AI之所以存在，只是因为象棋是一个人为环境——我们禁止人类使用AI或其他技术辅助。现实世界并非如此。

没有理由认为，未来单独行动——或违背创造者意志——的人工智能，会比人类在AI辅助下更强大。国际象棋计算机之类的类比误导了我们。

攻击者与防御者

但如果恶意行为者获取并利用AI的力量，可能引发全球风险呢？滥用AI的方式无穷无尽，让我们以网络攻击为例：未来AI是否可能被用于入侵国家安全基础设施，比如发射核导弹？

我们无需猜测。过去十多年间，人工智能在检测多种安全漏洞方面早已超越人类，甚至优于专家。相比人工审查软件代码，自动化漏洞挖掘工具为黑客提供了巨大优势。

萨亚什·卡普尔然而世界并未因此终结。根本原因在于防御者同样掌握这些工具。研究人员和开发者在关键软件部署前会进行全面的漏洞测试。实际上，漏洞挖掘工具主要并非由黑客开发，而是由价值数十亿美元的信息安全产业研发，并受到政府资金支持。用于发现软件缺陷的人工智能提升了安全性，而非加剧风险。

其他具有危害性的恶意行为亦是如此。人工智能几乎在所有领域都有应用价值，包括战争和生物恐怖主义。这为宣扬"AI末日论"者提供了偷换概念的空间：他们将其他重大风险重新包装为AI风险。

举例来说，未来AI或许确实能协助实验室研发引发大流行病毒的某些步骤。但当前实验室制造可能引发疫情的病原体已具备可行性，恐怖分子完全可以通过网络查询相关制造指南。问题的本质根本不在于AI，而在于生物工程病毒本身。

这种末日论调反而会误导政策制定者对必要干预措施的判断，从而加剧风险。试图将AI重新封存对解决实际问题毫无裨益。

至于纯粹意外的可能性？我们需要改进预警系统以及迅速关闭失控人工智能的能力。但工程界已在其他许多危险系统上成功做到了这一点，对于人工智能同样可以。正如其他领域一样，防御者不会停滞不前。

阿尔温德·纳拉亚南是普林斯顿大学计算机科学教授，萨亚什·卡普尔是该校博士生。联系方式：[email protected]。

本文发表于2023年11月9日印刷版，标题为《人工智能会对人类构成生存威胁吗？正反双方展开辩论》。