财经三人谈： AI会灭绝人类？科技界为什么又发警告？

编者的话：“降低人工智能带来的人类灭绝风险，应该与控制大流行病和核战争等其他影响社会的大规模风险一同成为全球性的优先事项。”5月30日，国际AI（人工智能）领域非营利组织“人工智能安全中心”发表《人工智能风险声明》，以简短字句强烈呼吁国际社会认真对待人工智能带来的风险。这是近期国际科技界对于人工智能风险的第二次警示，包括Open AI、谷歌DeepMind及Anthropic在内的三家领先的人工智能公司高管都参与签署声明。业界为什么会强烈呼吁关注人工智能带来的风险？人工智能真正的危险性是什么？本期“财经三人谈”邀请该公开声明的联署者以及相关领域的高管及专家，共同探讨。

近期风险比远期风险更紧迫

曾 毅

近期，由于人工智能风险与安全隐患引发的国际学者与产业专家两次发布声明，其目的都不是为了阻碍人工智能发展，而恰是在探索人工智能更加稳健发展的途径。也许目前签署该项声明的还是少数人，然而少数人首先站出来倡导提升全球监管防范意识，最终才能引来社会多数人的参与及改变。

人工智能无疑是社会进步的推进器，是推进全球可持续发展的重要赋能技术之一。然而，这并不意味着人工智能没有潜在风险，或者是由于最大化人工智能益处的需求，就可以忽略潜在风险。

绝大多数人发展和使用人工智能的愿景是用人工智能造福人类及享有人工智能带来的益处，而非是给人类带来风险，甚至是生存风险。因此，绝大多数人有权利知道人工智能的潜在风险，人工智能的研发者有义务确保人工智能不给人类带来生存风险，至少要最小化这种风险的可能性。

大流行病、核战争与人工智能可能给人类生存带来潜在风险的共性是难以准确预见、波及范围广、关乎全人类的利益、甚至具广泛致命性。关于人工智能对人类造成生存风险，有至少两种可能，一种是对远期人工智能的担忧，另一种是对近期人工智能的担忧。

针对远期而言，当通用人工智能和超级智能到来时，由于其智力水平可能远超过人类，超级智能或会视人类如同蝼蚁，很多人据此认为超级智能将与人类争夺资源，甚至危及到人类的生存。

事实上，如从现在开始关注研究，远期人工智能的挑战及风险尚可应对。但若近处着眼，人工智能的挑战与风险则更为紧迫。由于当代人工智能只是看似智能的信息处理工具，没有真正的理解能力，其会以人类难以预期的方式，犯人类不会犯的错误。当其某种操作威胁到人类生存时，人工智能既不理解什么是人类，什么是生死，也不会理解什么是生存风险。如果此时的人类恰未能及时察觉到风险，则极可能出现“生存危机”。

也有观点认为，不需要达到通用人工智能与超级智能的阶段，当前阶段的人工智能就可以利用人类的弱点造成致命危机。例如利用和加剧人类之间的敌对和仇视、偏见和误解，以及应用致命性自主人工智能武器对人类生命构成威胁。如近期美国空军披露的先进无人机自主选择攻击其人类操作员。此外，人工智能具有被恶意利用、误用和滥用的风险，且几乎难以预期和控制。特别在近期，人工智能合成的虚假信息，极大降低了社会信任。网络通信又已使万物互联，会使相关风险在全球范畴下放大。

当前，人工智能技术发展竞赛如火如荼，对其安全伦理风险的防范却捉襟见肘。《人工智能风险声明》首先应引起共鸣的是所有研发者，应通过研制和发布人工智能安全解决方案，解决尽可能多的安全风险隐患。其次是最大限度地提升人工智能所涉及的利益相关方对人工智能安全隐患的意识，包括但不限于研发者、使用与部署者、政府与公众、媒体等，让人工智能的所有利益相关方都成为给人工智能稳健发展保驾护航的参与者。再次，对于人工智能给人类造成生存风险的各种可能，要开展充分研究，通过极限与压力测试，最大限度降低风险。

解决人工智能给人类带来的生存风险问题、伦理安全问题需要建立全球协作机制。例如，建立所有国家共同参与的人工智能全球安全委员会，在共享人工智能红利的同时，共护全球安全。这样才能有效利用人工智能赋能，确保其稳健发展。（作者是中国科学院自动化研究所研究员，联合国教科文组织人工智能伦理实施高层专家组专家，本次公开信的联署者之一）

全球范围的监管缺位

陈 杰

目前，人工智能大模型已具备非常缜密的逻辑思考能力，它的回答几乎已达到人类正常表达水平，甚至有测试显示它已拥有本科生水平。在合适的引导下，人工智能大模型可以完成高质量的逻辑推理，甚至让人产生错觉：它已经产生智慧了。

但人工智能是否能够超越人类，甚至达到“有能力灭绝人类”的水平，或许还差一次技术突破。目前，人工智能可以在单轮对话中，理解人们的提问，并输出高质量的回答，但信息在其神经网络中仅单向一次传播，仍缺乏长时间、自动化、连贯的反复思考能力。如果有一天，信息可以在大模型内部自动化、反复传播，能自己控制持续思考，就会变得十分危险。

事实上，我们已经站在技术突破的悬崖边上。目前，一些开源社区正在尝试，比如AutoGPT和AgentGPT项目正在引导大模型在回答完一个问题后再去思考另一个问题，将其连贯。目前这种大模型外部辅助多轮思考能力仍完全依靠人的开发设计，使用仍受控。但如果有新突破，会让人工智能变得不可控。这实际上也是业内近期反复强调的风险——关于失控的担心。

虽然“灭绝人类”的担忧暂时遥远，但大模型的迅速发展已经为社会带来了诸多风险，已经有人在利用大模型“作恶”。如安全漏洞被恶意使用、信息泄露、以及“换脸”“换声”能力可能会被用来进行诈骗等。此外，一些黑客也在使用大模型生成恶意工具，突破传统杀毒软件和防火墙。

站在整个社会的角度，人工智能的发展可能也会带来冲击，包括影响就业市场、导致经济结构变化以及随之而来的新社会问题。阿里达摩院与新加坡南洋理工大学近期发布的一篇论文显示，在数据分析行业，GPT-4的表现在大多数指标上能与一位6年工作经验的人类相当。从成本角度，GPT-4的使用成本相当于初级数据分析师人工成本的0.71%，为高级数据分析师的0.45%。

人工智能对现有就业格局会有巨大的冲击，但并不意味着总的就业岗位数量将急剧减少。以互联网行业为例，很多程序员可能面临失业，但也有预测称，对编程人员的需求会增长10倍。

人工智能是一把“双刃剑”，要看我们如何对它进行引导。从开发者的角度讲，各家企业正在努力让大模型遵循正确的价值观，尽量避免事实的编造或泄露数据。虽然这在技术层面存在难点，但并非不能攻克。

相较于技术的迅速发展，全球范围的政府监管依然处于缺位状态，在很多层面，亟待出台相应政策法规。例如要求可以进行“换脸”“换声”的工具不能被公开随意获得，以及对整体大模型的应用提出更细致的要求。从更长远的角度看，如何应对人工智能对社会的影响，不仅需要技术层面的思考约束，更需要来自监管的提前布局。

尽管存在种种风险，但人工智能持续发展的趋势是不可逆的，它展现出的巨大能量、对生产力的巨大提升，都对社会发展有着重要且积极的意义。最初，人们将大模型与iPhone的出现相提并论。此后，比尔·盖茨认为它能与上世纪80年代个人计算机的出现相媲美。最近，已经有人提出它能释放出的效能堪比电力革命。这些言论都证明了人工智能的巨大作用，而我们也需要像面对每次变革一样，在享受技术红利的同时，应对新的挑战。（作者是国内知名网络安全企业首席科学家、AI实验室负责人）

人类需要构建坚固有力的护栏

李 峥

此轮人工智能发展，很可能引发对政治、经济、社会的深刻冲击。相比已暴露的风险，人工智能正显现出更多结构性风险，或将加大国际社会及各国的风险敞口。

一是人工智能的自我迭代演化在加速。以语言大模型为例，该技术在2018年诞生后，每隔一年半即实现演算规模和应用效果的迭代升级。每次迭代均能达到百倍以上提升。这一进化速度远超过其他信息科技，也超过了社会接受和理解的范畴。

二是人工智能的就业替代在扩大。相较以往，以ChatGPT为代表的生成式人工智能具有更强信息和服务提供能力。这意味着该技术势必将冲击相关领域的就业岗位。从当前已进行的一些测试看，该技术在编程、法律服务、文字处理、设计等领域能够部分替代人类脑力活动，将冲击各国中低端白领岗位。与之相对，人工智能所创造的就业岗位并不多、且具较高知识门槛。

三是人工智能的社会滥用可能失控。新一代人工智能所生成的信息十分逼真、难以分辨，容易成为居心叵测者和犯罪团体的新工具。近期，国内外已经出现了一些利用此类诈骗危害民众安危的案例。同时，我们还应警惕此类技术被用来制造规模化虚假信息，彻底污染信息生态，将真实、主流、权威的声音淹没在“深度伪造”信息的汪洋大海之中。这将对一代人的认知和成长带来风险。

四是人工智能的资本逐利性在增强。与以往新兴技术类似，新一代人工智能也吸引了全球资本。但是，此轮资本的热捧和炒作，其迅猛之势超出业内人士预期，甚至让其开发企业OpenAI的CEO奥特曼等受益者产生警惕。在资本驱动下，部分新创立的人工智能企业急功近利，脱离实际。一些企业以人工智能为幌子收集用户敏感数据，并以此牟利；另一些则在开发一些或对社会带来冲击的危险技术，违背了该技术发展进步的初衷。

上述风险的逐步显现，是国际科学界持续关注人工智能治理和科技伦理的主要原因。从当前发展态势看，人工智能不仅需要软性约束的科技伦理，更需要具有强制性、并且不断增强调整的治理框架。

妥善应对上述风险需要从三个层面着手。其一，确保技术研发与社会认知同步。在推进该技术发展的同时，更重视增强全社会对于潜在风险的认识，形成驱动良性发展的社会氛围和社会压力。其二，确保技术应用与社会适应同步。应更重视增强公众教育和专业能力培训，尤其是要求人工智能企业履行社会责任，投入该领域知识技能的义务教育。其三，确保技术迭代与监管同步。新一代人工智能的快速迭代显著超过了全球治理、各国监管体系制度的发展速度，形成了一个监管缺位的“灰色地带”。一旦趋势延续，这一风险或成为人工智能对人类社会的“灰犀牛”。因此，人类需要一个坚固有力的护栏。（作者是中国现代国际关系研究院美国研究所所长助理）