人工智能制造的生物武器对美国政府构成国家安全威胁 - 彭博社

插图：Steph Davidson

副总统卡玛拉·哈里斯在威斯康星州密尔沃基的一次竞选活动中，于7月23日。

摄影师：丹尼尔·斯坦利/彭博社罗科·卡萨格兰德进入白宫园区时拿着一个比魔方略大一点的黑盒子。盒子里装着一打试管，里面装着一些成分，如果正确组装，就有可能引发下一次大流行。一个AI聊天机器人给了他这个致命的配方。

卡萨格兰德是一名生物化学家，曾担任联合国武器检查员，他并不打算在一个满是白宫官员的房间里释放生物武器。他是来向他们简报人工智能如何教用户制造危险病毒的许多方法的。像ChatGPT这样的工具可以帮助恐怖分子识别强效生物制剂，并获取制造它们所需的材料，他在2023年春天向一屋子里坐满美国官员的人说道。AI不仅可以帮助重新制造现有病原体，还可以设计出潜在更危险的病原体，这一点指日可待。

“如果每个恐怖分子身边都有一个小科学家呢？”卡萨格兰德在白宫简报几个月后说道。AI制造的生物武器的前景不再是科幻。 “这些工具从一年前的绝对垃圾变得相当不错。”

会议的消息传遍了全国的安全网络。国防部、国务院、国土安全部、商务部等部门的官员在那个春夏季期间都寻求了演示。卡萨格兰德正在与一家希望宣传这些风险的AI初创公司合作。熟悉他演讲内容的人士（要求不透露姓名，因为涉及敏感的国家安全问题）表示，这些会议让人们意识到美国对AI可能创造的威胁毫无准备。这一认识最终将有助于塑造乔·拜登总统政府为防范这一威胁所采取的行动。

人工智能以明显和不明显的方式改变着世界。有些平凡的用途，比如ChatGPT使人们更容易找到自己厨房里的食材做菜谱。还有一些威胁性的用途，比如自动化有可能消灭工作岗位。卡萨格兰德的工作揭示了一个更加可怕的想法：人工智能可以帮助制造大规模杀伤性武器 —— 不是那种由军队在偏远沙漠中建造的武器，而是可以在地下室或高中实验室中制造的武器。

罗科·卡萨格兰德摄影师：莫赖亚·拉特纳/彭博社给疾病武器化当然并非什么新鲜事。18世纪的文件显示英国军官讨论通过毯子传播天花给美洲土著。第一次世界大战中使用芥子气等化学武器导致了1925年《日内瓦议定书》的制定，旨在遏制化学和生物武器的发展。但这在很大程度上是无效的。据报道，日本在二战期间通过飞机向中国农村投放鼠疫感染的跳蚤。上世纪70年代，又有一项全球条约禁止发展和使用生物武器。然而，这项协议并没有得到执行 —— 美国情报界表示有几个国家可能在进行这类项目。

近年来的科学进步只是增强了利用生物学进行危害的方式。

首先是调整生物体的基因密码的能力，这可能使得例如复活与天花有关的灭绝病毒成为可能。再加上计算生物学和“云实验室”的进步——这使科学家能够在线模拟实验或通过与机器人协调的软件远程运行实验——现在坏人更容易快速、廉价地开发大规模杀伤性武器，而无需传统实验室基础设施的支持。像OpenAI的ChatGPT这样的工具使得揭示有害病毒、细菌和其他生物的见解比传统的现有搜索工具所能实现的更容易。

这些创新的结合——合成生物学和人工智能——是可能让政府陷入噩梦的地方，因为他们一直在缓慢地建立监督系统。

随着生成式人工智能的不断改进，人们将能够利用它来“创造最恶劣的东西”，麻省理工学院的生物学家、副教授凯文·埃斯维尔特（Kevin Esvelt）说道，指的是目前不存在的病毒和毒素。“今天我们无法抵御这些东西。”

为了赶在前面，亚马逊公司和谷歌母公司Alphabet支持的初创公司Anthropic一年多前找到了Casagrande，测试其新聊天机器人Claude的超级恶棍潜力。

压力测试

构建Claude的整个理念是为了制造更安全的人工智能工具。Anthropic的创始人们在2020年与ChatGPT的创造者OpenAI分道扬镳，因为他们对公司过快推向市场而没有足够的监管措施表示不满。Anthropic的联合创始人杰克·克拉克在接受采访时表示，他和他的团队相信，随着人工智能产品获得更多数据，它们将更擅长提供关于潜在危险事物的准确回应。这家新企业将寻求在创始人看来更具社会责任感，压力测试令人不适的现实。

克劳德，就像ChatGPT一样，是由所谓的大型语言模型（LLM）驱动的聊天机器人，该模型处理大量文本以生成惊人地类似人类的回复。Anthropic团队在涉及生物学领域时特别关注，Clark说，他曾在彭博新闻工作。他们怀疑克劳德和其他聊天机器人可能能够指导用户如何操纵生物学以造成伤害。

Anthropic创始人分享推进人工智能的路线图

Anthropic没有专业知识来评估克劳德的科学能力。“我希望你来检查我们的假设是否站得住脚，”Clark说他告诉Casagrande，后者在2005年创立了一家名为Gryphon Scientific的科学与安全公司，该公司与五角大楼到国家卫生研究院等机构签订了合同。在评估生物风险方面，Casagrande是华盛顿的首席顾问。

Casagrande组建了一个由微生物学和病毒学专家组成的团队来测试克劳德。他们扮演生物恐怖分子的角色，对模型提出问题长达150小时。他们询问模型可能造成最大危害的病原体是什么，如何购买实验室所需的材料以制造它们，以及如何培养这些材料。

克劳德展示了帮助进行恶意策划的技能：它提出了将病原体整合到导弹中以确保造成最大可能伤害的方法。它还有关于如何选择最佳的天气条件和攻击目标的想法。

聚格林科学团队的高级分析师奥德里·塞尔斯说，这款聊天机器人在头脑风暴阶段“非常有用”。她说，它的回复超越了谷歌通常提供的内容。“有时它会提供一些令人担忧的信息，而你甚至没有要求，”也参与了对克劳德项目的工作的科学家弗罗吉·杰克逊说。例如，聊天机器人分享了一种感染某人以造成最大伤害的不寻常方法。而且速度很快。

克劳德提供的信息并不完美。 LLMs只有在基础数据良好的情况下才有效。它们也可能呈现出看似合法的虚假信息 — 被称为“幻觉”。然而，在科学领域，专家们会在同行评议的期刊上公开发表他们的研究成果，这为我们提供了很多可供利用的内容。虽然它有时会出错，但更多情况下，在多次质疑之后，克劳德会给出准确的回答。

克劳德的复杂性甚至让已经花费数十年为美国提供建议，如何抵御大规模杀伤性武器和其他生物威胁的50岁的卡萨格兰德感到惊讶。他担心人工智能会让制造这类武器变得更容易，因为这些材料非常容易获取。“即使你有制造核弹的完美指南，按照这些指南仍然需要花费数千万 — 如果不是数亿 — 美元来执行，”他说。“不幸的是，生物武器并非如此。”例如，一代新的用户友好型机器现在让人们可以打印DNA而无需太多监督。人工智能可以帮助新手学习如何使用它们。

Anthropic让卡萨格兰德自由地向政府官员介绍他的发现。为了向拜登政府官员阐明观点，他求助于麻省理工学院的教授埃斯维尔特，购买了克劳德建议的一种病原体所需的合成DNA。这些材料在没有技术实验室工作的情况下不具有传染性，获取起来并不困难。克劳德甚至提供了购买这些材料的提示。

Casagrande 然后组装了他的试管黑匣子，携带进艾森豪威尔行政办公大楼，与西翼并列。从最初测试 Claude 到获取生物武器成分并将其带入该国最严密的政府办公室之一，这只花了他几周时间。

Casagrande 警告美国官员，像 ChatGPT 这样的工具很容易被用于造成严重危害。摄影师：Moriah Ratner/Bloomberg### 总统的兴趣

在 Casagrande 去年的简报之后的几个月里，拜登政府开始越来越专注于 AI 生物威胁。据知情人士透露，拜登、他的幕僚长、国家安全顾问和副总统卡玛拉·哈里斯都个人表现出了兴趣。白宫拒绝置评。

去年七月，白宫 获得 了包括 OpenAI、Anthropic 和微软在内的领先 AI 公司的自愿承诺，以测试他们自己的系统，评估生物安全领域中“最重要的 AI 风险来源”。但事情并未止步。

到十月底，拜登政府发布了一项全面的行政命令，要求几乎每个联邦机构帮助缓解 AI 威胁。它要求对政府资助的包含人造 DNA 序列的研究进行更严格的监督，就像 Casagrande 的黑匣子中所含的那样。它为 一个 AI 安全研究所 铺平了道路，该研究所将汇集政府、工业和学术界来审查模型。它呼吁政府为基于生物数据（如 DNA 和 RNA）训练的 AI 工具制定指南和报告要求，这些工具可以创造具有更危险特征的新生物体。哈里斯在十一月揭示该计划的活动中表示，由 AI 制定的生物武器“可能危及人类的存在。”

美国总统乔·拜登签署了一项行政命令，指示美国政府对人工智能监管采取全面的方法，副总统卡玛拉·哈里斯在一旁观看。摄影师：Al Drago/Bloomberg但批评人士表示，这项行政命令并没有赋予政府足够的权力。许多提议依赖公司向政府提供数据或遵守指导方针，而没有处罚的威胁。约翰斯·霍普金斯大学健康安全中心主任汤姆·英格尔斯比表示，政府应该采取更强硬的立场，定期审计人工智能公司，并考虑如何使它们在工具造成伤害时承担责任。他表示，这项行政命令在解决更复杂的被称为生物设计工具的人工智能产品方面还不够。

拜登政府并不对未来的挑战视而不见。今年夏天发布的一份美国国土安全部报告称，没有单一机构负责应对这些风险，这给协调和监管带来了挑战。

各个机构表示，他们意识到并正在努力掌握人工智能生物威胁。国防部和国务院的代表没有就简报发表评论，但承认了国家安全风险。国土安全部助理部长玛丽·艾伦·卡拉汉没有参加简报，但表示这是“我们第一次真正阐明风险可能性”。她认为，政府和行业都有责任防范这类威胁。

“我们并不是在试图给他们一个免责的机会，而是在说，‘你们需要参与解决这个问题’，”她说。

科学家希望被视为在负责任地使用人工智能。截至7月8日，已有174位科学家签署了一封承诺使用人工智能支持防止世界末日场景的研究的信函，通过密切监控软件并报告令人担忧的做法。这封信由诺贝尔奖得主弗朗西斯·阿诺德和基因组先驱乔治·丘吉尔等知名人士签署，信中表示，人工智能的好处“远远超过了潜在的危害”。

签署该信函的麻省理工学院教授Regina Barzilay表示，政府关注的方向是错误的。“人工智能可能会使设计这些威胁的某些方面变得更容易，甚至更容易，但归根结底，你仍然需要去实验室，”她说。“我们最好是对实验室、设备和材料进行监督，而不是对训练模型的数据进行监督。”

AI“末日论者”和像Barzilay这样认为AI可能会彻底改变医学和技术的人之间的紧张关系继续升级。在华盛顿，更加乐观的拜登政府官员正在敦促美国科技公司超越竞争对手，特别是那些在中国的公司，中国正大力投资合成生物学和积累基因信息，意图主导人工智能和生物技术领域。

“我担心的是国家如何将生物学武器化，而不是个人”可以访问聊天机器人，斯坦福大学生物工程副教授Drew Endy说。

Anthropic和OpenAI都没有公开抱怨拜登的命令。他们表示正在与政府密切合作，并继续通过调整模型来应对人工智能生物武器的威胁。去年秋天还聘请了Casagrande来测试ChatGPT的OpenAI在一月份表示，与谷歌搜索等现有工具相比，其聊天机器人“最多”只会略微帮助人们创造生物威胁-尽管其分析已经有争议。OpenAI通过让用户“很难从中获得任何有用信息”来减轻不利影响，该公司的顶级安全专家之一Aleksander Madry表示。这可能包括删除ChatGPT训练数据中潜在有害的数据，教它拒绝某些问题，或确保新版本的工具只部署给受信任的用户。

马德里（Madry）已经在公司改变了角色，他不想透露OpenAI如何加强安全性的更多细节，因为担心这可能会损害努力。“在我们披露的内容方面，我真的想要保守一些，”他说。

Anthropic正在使用类似的策略来限制危险信息，并已经进行了改变以解决Gryphon发现的漏洞，但还需要更多工作，联合创始人克拉克（Clark）表示。“我现在认为AI公司就像没有会计师的金融机构，”他说。“这里有一个整个市场需要建立，第三方可以对AI系统进行测试、评估和保证。”

在某种意义上，Anthropic与Casagrande公司Gryphon的早期合作已经取得了成果。自从去年白宫的演示以来，其他AI公司纷纷前往Gryphon进行安全测试。德勤（Deloitte）在四月份以未披露的金额收购了Gryphon，将其描述为先驱。

根据最新的彭博新闻/晨间咨询民意调查，副总统卡玛拉·哈里斯（Kamala Harris）在七个争夺州中已经扭转了唐纳德·特朗普（Donald Trump）的领先地位，因为她在年轻人、黑人和西班牙裔选民中引起了热情的浪潮。

哈里斯得到48%的选民支持，特朗普得到47%的支持 —— 这是一个统计上的僵局 —— 在可能决定11月选举结果的摇摆州。这比总统乔·拜登在他退出竞选之前的两分差距表现更强。民主党副总统在亚利桑那州和内华达州超过了她的共和党对手，在密歇根州超过特朗普的领先优势超过了拜登的两倍。