为什么加利福尼亚的人工智能法案正在分裂硅谷 - 彭博社

加利福尼亚州参议员斯科特·维纳

摄影师：大卫·保罗·莫里斯/彭博社 不要错过任何一集。关注 《大视野》每日播客 今天。

## 大视野

分裂硅谷的人工智能法案

16:31

一项有争议的人工智能安全法案刚刚通过了加利福尼亚州的立法。它被OpenAI和南希·佩洛西拒绝，受到埃隆·马斯克的支持——并可能彻底重塑该技术在州内乃至全球的发展未来。

在今天的播客中，主持人萨拉·霍尔德与加利福尼亚州参议员斯科特·维纳交谈，他是SB 1047的作者，讨论他为何认为加利福尼亚需要在人工智能监管方面发挥领导作用。彭博社科技记者希林·加法里解释了即使该法案被加文·纽森州长否决，它所提出的关于人工智能监管的问题也可能是持久的。

阅读更多： 加利福尼亚通过分裂科技领袖的人工智能安全法案

进一步收听： 人类与人工智能机器人在世界呼叫中心之都模糊不清

在 Apple Podcasts、Spotify 或您获取播客的任何地方收听并关注《大视野》

终端客户端：在桌面上运行 {NSUB BIGTAKEPOD <GO>} 以订阅

以下是对话的轻微编辑稿：

**莎拉·霍尔德：**八月的最后一周并不被认为是忙碌的时节。除非你在加利福尼亚州的立法机构工作。

**斯科特·维纳：**我是斯科特·维纳参议员。我正在加利福尼亚州的州府打电话。

**霍尔德：**当我们最近交谈时，维纳参议员告诉我他正在从投票到投票，涉及从监管对冲基金到允许户外大麻销售的所有事务。这些都是非常加利福尼亚的事情。

**维纳：**我们正在进行立法会议的最后一周。因此每天都是马拉松式的投票。我们已经投票通过了几百个法案，还有数百个法案在周六会议结束之前需要投票。

**霍尔德：**但我想和维纳参议员谈谈当天正在投票的一项非常具体的法案。这是他在二月份提出的，名为SB 1047——前沿人工智能模型的安全与保障创新法案。该法案将要求人工智能公司遵循新的安全标准——并在其工具造成灾难性伤害时承担法律责任。该法案仅适用于最大的人工智能公司——那些在训练其人工智能模型上花费超过1亿美元，或在微调上花费1000万美元的公司。

**维纳：**作为全球科技领导者，我们在加利福尼亚有责任制定良好的前瞻性创新、安全的科技政策。

**持有者：**现在，参议员维纳从来不是一个会回避有争议政策举措的人。作为一名民主党人，他一直是该州区域改革的最大支持者之一。但在ChatGPT和Claude首次被释放的地方，以及OpenAI和Anthropic在追逐超级智能的地方提出这项法案，并没有受到欢迎。

**维纳：**我知道由于这个主题的性质，会有显著的反对声音。我知道这会很强烈，但比我想象的还要强烈。

**持有者：**OpenAI反对这项法案。南希·佩洛西也是。安德森·霍洛维茨也是。但维纳相信，即使面对这些反对声音——没有哪个州比这里更适合在这个领域前瞻性地发展。

**维纳：**加利福尼亚在科技政策、气候政策以及许多我们领先于国会的问题上一直处于领先地位。我们引领潮流，我们也应该在这里做到这一点。

**持有者：**今天的节目：关于限制人工智能危害的法案的辩论已成为科技界的一个焦点。这可能是科技监管的未来吗？还是一个警示故事？

这是彭博新闻的《大观点》。我是莎拉·霍尔德。

**持有者：**SB 1047的构想是在大约一年半前出现在加利福尼亚州参议员斯科特·维纳的脑海中。那时，他被一群专家接触，希望他能承担人工智能监管的责任。

**维纳：**在2023年初，一些人工智能技术专家找到了我，表示是时候进行一次关于人工智能安全的对话了，因为我们有这么多令人惊叹的创新。我们如何确保随着人工智能的发展，它以负责任的方式进行。因为我们有不提前应对技术带来的风险的历史，只是让事情发生，然后再去清理后面的烂摊子。

**霍尔德：**现在，加利福尼亚有很多关于人工智能的法案在讨论——事实上，在八月份的会议上，立法者通过了另一项关于深度伪造的法案。但SB 1047关注的是一系列不同的潜在人工智能危害：灾难性的危害。想想，超过5亿美元的财产损失，或者大量的人命损失。维纳说他选择关注这个特定方面是有原因的。

**维纳：**在SB 1047的辩论中，有很多“那么怎么样”的论调。那么深度伪造呢？算法歧视呢？错误信息呢？你为什么要关注灾难性危害的风险？我的回答是，我们需要解决所有这些问题。但除了这些潜在的危害，我们知道还有更大的危害风险。例如——关闭电网，银行系统崩溃；更容易或促进化学、生物、核武器的制造。摧毁关键基础设施。这些都是你不需要拥有地球上最好的想象力就能想象到的危害。

**霍尔德：**这些是最坏的情况，维纳因想象这些情况而受到批评。

**维纳：**有时，反对该法案的人试图说，任何关注人工智能安全的人都一定是个疯狂的悲观者。这是不真实的。

**霍尔德：**你不认为自己是个疯狂的悲观者吗？

**维纳：**我不是个疯狂的悲观者。我非常支持人工智能和创新。我只是希望它能负责任地进行。

**霍尔德：**不过，立法中列出的风险大多是假设性的。至少，目前是这样。我问了为彭博新闻报道人工智能的记者希林·加法里，关于人工智能引发的灾难风险究竟有多迫在眉睫。

**希林·加法里：**好吧，这真的取决于你和谁交谈，因为即使是专家，甚至是所谓的人工智能教父，他们基本上发明了我们今天使用的这种类型的人工智能模型，也有很大的分歧。

像约书亚·本吉奥这样的人，例如——他是领先的计算机科学家，获得了图灵奖，这就像深度学习的诺贝尔奖，而深度学习又是我们今天使用的人工智能的基础——他是这个法案的坚定支持者。他公开表示这些风险可能会出现。他不知道确切的时间，但他说风险足够大，我们应该努力减轻它。然后还有另一位与他同年获得图灵奖的科学家，现任Meta的人工智能负责人扬·勒昆。他说这太荒谬了。我们不应该担心这些灾难性风险。今天的人工智能工具远没有人类聪明，我们在这里过于偏执了。

**持有者：**过于偏执还是不偏执——另一个问题是这样的州立法是否真的能防止最糟糕的事情发生。我问Shirin SB1047是如何处理AI伤害减少的。

**Ghaffary：**所以它实际上会做的是要求公司做几件事情。

首先，他们必须有一个所谓的紧急停止开关，也就是说如果事情变得非常糟糕，他们有办法关闭机器。另一个是他们必须创建所谓的SSP——安全和保障协议。这基本上就像是一份文件，概述了他们如何遵循风险缓解，包括进行外部测试等事情，对吧？所以他们说你必须找第三方去测试你的系统，确保它们不是高风险。

此外，仅仅通过被追究法律责任的威胁，对吧，这种方式就是将加利福尼亚州如何追究你的责任写下来并明确说明，如果你至少没有遵循一套基本的风险最小化原则。

**持有者：**正是这种法律责任的威胁让一些科技公司感到恐慌，并助长了对该立法的激烈游说活动。

**Ghaffary：**风险投资公司和科技公司已经请来了大牌游说者。他们雇佣了加利福尼亚州顶尖的游说者。Andreessen Horowitz雇佣了一个与纽森州长相识已久的非常知名和有影响力的游说者。OpenAI和其他公司也雇佣了正在处理这项法案的游说者。

**持有者：**而且，这个科技行业的反击已经导致了切实的变化。以SB1047处理开源初创公司的方式为例。Shirin表示，尽管该法案仅适用于这些人工智能巨头，但其中一些公司，如Meta，仍然将其人工智能模型开源。这使得较小的初创公司更容易在他们的工作中使用这些模型。

**Ghaffary：**人们担心的是，如果该法案适用于像Meta这样的公司，是否会产生下游效应，Meta会说，我们不再开源我们的模型，因为我们不想担心其他开发者滥用我们的技术而带来的潜在责任？

**持有者：**最新版本的立法试图解决这些潜在的下游后果，Wiener告诉我。

**Wiener：**例如，明确规定，关闭人工智能模型的义务仅适用于你拥有该模型的情况。如果你开源一个模型，而有人对该模型进行了重大更改，那么就不再是你的责任。

**持有者：**不过，科技公司如OpenAI对SB1047提出的另一个总体批评是——这是一个更难通过修正案解决的问题。即该立法来自加利福尼亚州，而不是国会。

**Ghaffary：**许多批评该法案的人表示，我们应该获得联邦立法。他们不想要这种拼凑式的法律。

**持有者：**一个拼凑的方案。意味着不同的人工智能法规由各州设定，可能会相互重叠或矛盾——而不是所有科技公司都必须遵循的一个国家框架。

但维纳参议员表示，加利福尼亚州采取行动的部分原因是国会没有采取行动。

**维纳：**人们会说，嘿，这应该由国会来处理。应该在联邦层面处理。拥有一个一致的国家标准更好。我的回答是绝对的。我希望能够关门大吉，因为国会介入并通过了一项强有力的人工智能安全法。这对我来说简直是天籁之音。

**持有者：**并不是所有加利福尼亚州的政治家都支持这一开创性的政策议程。包括南希·佩洛西参议员。

**档案南希·佩洛西：**这项法案出发点良好，但信息不足。

**持有者：**但显著的支持者也开始出现。

**新闻档案：**埃隆·马斯克现在公开支持加利福尼亚州的一项法案，以规范人工智能的发展，这与包括OpenAI和Meta在内的其他大牌形成鲜明对比，后者都反对该法案。

**持有者：**希琳对马斯克的看法并不感到完全惊讶。

**加法里：**马斯克一直以来都对这一点感到担忧。他担心人工智能的长期潜在灾难性影响。这就是为什么他帮助资助OpenAI，以对抗谷歌，因为他认为人工智能如此重要，应该有更多人来控制它。

现在，如果你很愤世嫉俗，你可能会这样看待这个问题：埃隆更有动力支持这项法案，因为他的人工智能公司并不是第一名。Open AI或Anthropic或其他这些公司被认为更领先。

**霍尔德：**至于维纳，他告诉我他会接受任何他能得到的支持。

**霍尔德：**你认为他的推文对你有帮助吗？

**维纳：**我认为他的推文真的引起了很大的反响，因为有些我知道的人对这项法案非常批评，而一旦他们看到马斯克的推文，他们开始重新思考这个问题。

**霍尔德：**人工智能社区对这项法案的争论并没有阻止州立法者。他们在八月的最后一周通过了SB1047。现在，它的命运掌握在加利福尼亚州州长加文·纽森手中。如果他签署成为法律，影响可能远超加利福尼亚。

接下来——这些在行业后院制定的人工智能法规会有全球影响吗？

**霍尔德：**金州在技术方面通常走在前列——无论是开发还是监管。彭博社的科技记者加法里表示，加利福尼亚发生的事情很少会仅限于加利福尼亚。

**加法里：**这很可能会成为其他州的模板。过去加利福尼亚制定了一些技术立法，其他州随后跟进。我们已经看到像科罗拉多州这样的其他州在讨论人工智能立法，我确实认为我们可能会看到更多。

霍尔德：而且不仅仅是其他州可以借鉴加利福尼亚州正在做的事情。

**加法里：**它甚至有一天可能成为联邦或国际类型法规的模板。

**霍尔德：**希琳说，SB 1047已经与最近在欧盟和韩国举行的全球安全峰会所达成的国际协议紧密相连。尽管美国没有国家级的人工智能监管，但OpenAI和Anthropic最近自愿同意在发布之前与美国商务部的新人工智能安全研究所分享他们的人工智能模型。

**加法里：**所以该法案的支持者说，看看，你们已经在做这些工作。你们为什么如此反对呢？但该法案的批评者说，这些自愿协议正在发挥作用。我们已经看到公司自愿参与。那么我们为什么需要这个强制措施呢？

**霍尔德：**这是企业与政策制定者之间常见的紧张关系：他们都认为自己应该是握有权杖的一方。但对于人工智能行业来说，希琳说，现在是进行这场辩论的特别紧张时刻。

**加法里：**人们认为现在正在进行一场通往超级智能的竞赛。这是一个令人兴奋的时刻，我们看到这种寒 Cambrian 爆炸和人工智能的快速进步，他们担心这会扼杀这一切。我认为这是一种经典的科技与政府之间的恐惧。

Holder: 对于人工智能监管者来说——放慢那种爆炸性增长——只要足够长的时间来建立一些保护措施——可能并不是最糟糕的事情。而虽然Shirin说我们可能还不会看到我们日常生活中使用的人工智能工具的任何变化——最大的变化可能在于开发者如何推出新技术。

Ghaffary: 他们可能需要在推出某些模型之前多花一点时间，确保我们是否遵守这些指导方针？

如果没有，我们是否冒着被起诉的风险？所以这将为这些公司创造更多的行政开销，以确保他们遵循这些规则。

Holder: 对于加利福尼亚州参议员Scott Wiener来说——这种行政开销是确保未来安全的小代价。

Wiener: 这不是关于成为人工智能悲观者。这是关于作为一个负责任的成年人，我们说，让我们做所有这些好事。同时也要防止重大伤害。

Holder: 无论你是否同意他，Shirin表示，关于该法案的辩论已经让我们了解到，在未来几年中，我们可能需要问哪些关于人工智能发展和人工智能监管的问题。

Ghaffary: 我认为这项法案表明，大家很容易说，哦，是的，人工智能可能会带来某种灾难性风险。我们对此达成了一致。但实际上很难达成一致。好吧，现在，风险出现的概率是多少？它有多紧迫？管理它的最佳方式是什么？一旦进入细节，管理人工智能就变得非常复杂，尤其是因为它是如此新颖，技术上如此困难。

所以我认为在某些方面，这可能是最难以监管的技术之一。本集由：Adriana Tapia 制作；高级制作人：Naomi Shavin 和 Kim Gittleson；编辑：Kim Gittleson，Seth Fiegerman；高级编辑：Elisabeth Ponsot。执行制作人：Nicole Beemsterboer；声音设计/工程师：Blake Maples；事实核查员：Adriana Tapia。