一位新兴的AI安全思想家谈为什么你仍然应该担心 - 彭博社

Shirin Ghaffary

我们与AI政策界的新星丹·亨德里克斯（Dan Hendrycks）谈到了他为什么认为我们需要更加关注人工智能的灾难风险。但首先…

三件事情要知道：

• Sequoia领导了对Dust的筹款，一家法国人工智能初创公司，由一位前OpenAI科学家创立• OpenAI的中国封锁将重塑人工智能领域，大公司纷纷出手• SoftBank将参与Perplexity的融资，估值30亿美元

安全第一

几年前，丹·亨德里克斯还是加州大学伯克利分校的计算机科学博士生。现在，他是人工智能安全和政策领域最具影响力的新兴人物之一。

仅在过去几个月里，亨德里克斯一直在为埃隆·马斯克提供建议，与阿根廷总统共进晚餐，并帮助制定了加利福尼亚州一项备受争议的新立法，名为SB 1047。

亨德里克斯首次引起轰动是在2023年5月，他的新非营利机构，人工智能安全中心（CAIS），撰写了一句公开信，呼吁“减轻人工智能带来的灭绝风险”，并将其作为全球优先事项，与预防大流行病或核战争同等重要。该声明得到了包括OpenAI的Sam Altman和Anthropic的Dario Amodei在内的人工智能界名人的签署。

自那时以来，人们对人工智能可能导致世界末日的担忧有所减弱。但亨德里克斯表示，这并不意味着我们不应该担心。

Dan Hendrycks来源：Dan Hendrycks如果我们在接下来的10年内达到人工通用智能，“这将彻底改变人类的状况：至少会出现大规模的劳动力中断，” Hendrycks 告诉我。“所以这不是像，‘哦，现在我们有了电动牙刷。’ 这不像其他一些小的外围技术创新。” 已经筹集了数百万美元的 CAIS 正在计划将其业务扩展到 DC。

Hendryck 的人工智能安全倡导在某些圈子里让他不受欢迎，尤其是他在备受争议的加利福尼亚法案 SB 1047 上的工作，一些技术人员表示这可能会削弱创新。他说很多批评都是无稽之谈。“很多风险投资者和其他人都会反对它，不管其内容如何，” 他说。

我们与 Hendrycks 谈论了围绕该法案的骚动，他与马斯克的合作以及我们如何知道何时达到人工通用智能。

本次采访已经过编辑，以确保长度和清晰度。

彭博社：您是埃隆·马斯克的 xAI 安全顾问。与埃隆合作是什么感觉？

Hendrycks：他是一位非常出色的执行者。在与他的每周会议中，我笑得比在其他任何会议中都多。

我很想听听更多关于马斯克对人工智能安全的看法。他显然非常关注人工智能的长期风险。另一方面，他一直非常强调不希望监管者或监督员干涉言论监管。

在那里有一个区别。 因此，埃隆绝对是支持监管的。 他过去曾在AI安全方面扮演过卡桑德拉的角色，用掉了很多社会资本。

他肯定会反对言论自由的侵犯，但那不是政府的事情。 那更多是一种规范，即“你是否指示AI说特定的意识形态的东西？”

在xAI安全方面，你被分配了什么任务？

我认为现在主要的事情是遵守行政命令，并制定好测试，“模型是否可以被用于实质上使恶意行为者将其用作化学、生物、放射性或核武器或网络武器？” 因此，我们需要很好的度量。 这与我的测量、基准测试和评估背景相符。

以后，会有类似“如果我们在系统中遇到这种危险，公司的政策是什么？” 这样的事情，需要协商和弄清楚应该怎么做。

我认为在OpenAI或Anthropic，他们可能至少有数十人在从事这方面的工作。 你会增加人手吗，还是只有你一个人？

所以幸运的是，我做的一些工作可以在AI安全中心完成。 例如，我们与Scale AI合作制定了基准测试 - 大规模杀伤性武器 代理基准测试。 然后我们可以发布出去，在xAI那里他们最终可以使用它。 因此，我可以以这种间接的方式帮助，随着组织扩大并有更多专注于安全的人员，这将在人员数量方面成为一个较小的问题。

在AI安全中心，你关注什么？

目前，我对制定一个人类可以达成一致的衡量标准感兴趣，这个标准会说，“如果超过了这个门槛，那么我们就有了AGI。” 因为我认为目前很难协调关于何时达到超强能力水平，以及当我们达到超强能力水平时应该做什么？目前在能力衡量方面一切都有点混乱。

我们另一个关注点是出口管制和国家安全，确保我们对诸如Nvidia H100之类的东西有控制，并试图更加监督计算的情况，以免落入朝鲜等地方的手中。

还有一个关注点是加利福尼亚立法SB 1047。

大约一年前 你说过AI有可能协助制造生物武器或进行大规模黑客攻击。我们见过类似的情况吗？你改变了估计吗？

我想我在2021年写下了我的估计。我认为2026年左右会发生一些对关键基础设施的重大攻击。这个方向看起来还是大致正确的。也许会比那个时间稍早一些。

但我想要非常清楚地表明，我担心的两种主要恶意使用形式 — 影响国家安全的那些 — 是对关键基础设施的网络攻击和AI生物武器。

我现在不关心模型。我们现在还在使用GPT-4模型。GPT-4模型对我来说并不令人担忧。

**你如何看待许多科技行业人士对SB 1047提出的抨击？**我会和其中一些人交谈，然后他们会说，“模型永远不应该进行测试。政府永远不应该测试模型或它们是否会造成伤害。” 我就会说，“好的，我不明白这里有什么可以谈判的余地。” 因为我们在发布iPhone之前会进行测试。

然后有很多完全站不住脚的论点，比如，“哦，这违反了第一修正案” — 就好像他们有没有和律师办公室交谈过一样？ 他们还对其他一些事情感到非常不满：有一个伪证条款之类的东西。 是的，如果你故意向政府谎报是否进行了安全测试，然后你说，“哦，一切都很好”，但实际上并不是 — 如果你对政府撒谎，那可能会惹上麻烦。 这并不罕见。

许多风险投资者和其他人可能会反对，不管其内容如何。 但我认为我们在权衡方面做得很好。 我们针对影响国家安全的事物。 例如，当涉及到网络和传统大规模杀伤性武器时，我们专门关注关键基础设施。 我认为他们已经在做很多这方面的安全测试，因为行政命令。 这只是使其成为法律，而不是一个可以被未来某个政府废除的行政命令。你认为最近一些对有效利他主义（EA）的批评是否已被用来攻击你，或者攻击AI安全工作？

这是一个疲惫的区分。我认为人们普遍认为[SB 1047]是合理的。我们委托了一项独立的民意调查，以了解全国对此的支持程度。

这不是一个有效行动的事情。非常不幸的是，在 ChatGPT 之前，关心人工智能风险的主要团体是有效行动主义者。

我们中的一些人只是不得不与有效行动主义者共同生活，因为他们只是一个压倒性的力量。但是在 GPT 之后，他们只是杯水车薪，我认为他们可能不是主要影响故事的人。

埃隆不是有效行动主义者。萨姆也不是。我认为他们非常关心人工智能安全。

你认为联邦对此进行监管有希望吗？

当然。我的意思是，我们已经有了出口管制，例如对 GPU 的管制。这些都有很多漏洞。我们不能指望工业和安全局自己解决所有问题。我认为世界终于明白了：这在很大程度上是关于计算和 GPU，而不仅仅是人工智能开发者的故事。这种流动非常重要，我们应该确保，如果芯片是未来的铀等价物，我们要跟踪，“铀去哪了？有没有走私？”

我还预计人工智能的能力将会跃升。自 GPT-4 以来，我们还没有出现重大的飞跃，因为还没有用 GPT-4 十倍计算量训练的模型。但是当有了这样的模型时，我认为人们会说，“哦，人工智能的进展比预期快得多。”然后就会有政治能量来做新的事情。

我看到一张与阿根廷总统哈维尔·米莱伊一起参加的技术晚宴的照片。我想我看到了你。是这样吗？如果是的话，你们讨论了什么？

是的，没错。显然 [Milei总统] 的团队正在查看我制作的教科书，或者他的顾问正在查看。我认为他们正在做一些有趣的事情。我认为评论其他国家的事务通常不是一个好的先例，但显然他对自己的经济做得很好。我的意思是，我认为他们意识到从经济角度来看，人工智能是一个非常重要的问题。所以我们将看看他们最终会做些什么。

我坐在OpenAI的Greg Brockman和一些Andreessen Horowitz的人旁边，度过了愉快的时光。

**有关人工智能的问题？**给我发邮件，Shirin Ghaffary，我会尽力在未来的新闻简报中回答您的问题。

本周人类引用

“也许一些创意工作会消失，但如果其产出质量不高，也许它们本来就不应该存在。”

—OpenAI首席技术官Mira Murati

Murati在上周在达特茅斯学院的一次采访中发表了这些言论，引发了网上的激烈讨论。她后来在X上进一步阐述了她对人工智能对创意产业影响的看法。

值得关注的人物

微软联合创始人比尔·盖茨告诉彭博社，人工智能的炒作是有道理的，该领域的增长是“真实的”。### 深度学习

彭博社更多内容

获取科技日报以及更多彭博科技周刊直接发送到您的收件箱：

  • 网络公告涵盖黑客和网络间谍的阴影世界
  • 游戏进行中报道视频游戏业务
  • 开机苹果独家新闻、消费者科技新闻等
  • 屏幕时间近距离观看好莱坞和硅谷的碰撞
  • 声音片段报道播客、音乐行业和音频趋势

根据法院网站上发布的一份意见副本，美国最高法院准备允许爱达荷州在医疗紧急情况下进行堕胎。

这一决定将恢复一项下级法院的命令，确保该州的医院可以进行紧急堕胎以保护母亲的健康。发布的版本表明，大多数法官将驳回爱达荷州和共和党领导人的上诉，而不解决案件的核心问题。

阅读关于爱达荷州堕胎的最高法院文件全文

彭博法律部获得了一份意见副本，该意见在周三早上法官发布另外两份意见时短暂出现在法院网站上。意见的副本不一定是最终裁决，因为尚未发布。

最高法院新闻办公室表示，该案件的意见尚未正式发布。“法院的出版部门无意中并短暂地将一份文件上传到法院的网站上，”法院的公共信息官帕特里夏·麦凯布（Patricia McCabe）说。“法院对于莫伊尔诉美国和爱达荷州诉美国的意见将会适时发布。”

复制显示法院以6-3的投票结果解除了之前对联邦地方法院命令的暂停，保守派法官克拉伦斯·托马斯、萨缪尔·阿利托和尼尔·戈落斯对此持不同意见。

地方法院的命令旨在在诉讼继续进行期间保持有效。最高法院的决定意味着总部位于旧金山的联邦上诉法院可以考虑这个案件。

爱达荷州是少数几个现在除非母亲生命受到威胁否则禁止堕胎的州之一。医生和医院管理人员表示，该州的法律阻止他们为患有严重健康风险的妇女提供治疗，即使她们没有机会生下健康的婴儿。患者不得不等待数天才能接受治疗，或者被紧急送往其他州。

## 权力平衡

最高法院将裁决紧急堕胎问题

51:32

卡根和杰克逊

法院作为一个整体没有在发布的版本中解释其决定，称上诉被“不适当地批准”而被驳回。这意味着法院不会解决关于州堕胎禁令与旨在确保医院能够治疗需要紧急护理的患者的联邦法律交叉问题。

但在一份赞同意见中，大法官艾米·科尼·巴雷特表示，自法院一月份表示将审理争议以来，“这些案件的形势发生了重大变化”。

在一份由首席大法官约翰·罗伯茨和大法官布雷特·卡瓦诺共同签署的意见中，她指出了拜登政府对联邦法律适用范围的澄清。巴雷特还表示，自地方法官考虑该案以来，爱达荷州的法律已经发生了变化。

在另一份附带意见中，法官埃琳娜·卡根（Elena Kagan）表示，法院的决定“将阻止爱达荷州在怀孕终止是为了防止对女性健康造成严重危害时实施其堕胎禁令。”

阅读下一篇：一家激进的最高法院正在重塑美国，而其地位正在侵蚀

凯坦吉·布朗·杰克逊法官单独撰写称，根据曾短暂发布的副本，她不会驳回此案。

“今天的决定对爱达荷州的怀孕患者并非胜利。这是拖延，”她写道。“当这个法院犹豫不决，全国等待时，经历紧急医疗情况的怀孕人士仍处于危险境地，因为他们的医生对法律要求一无所知。”

阿利托表示，法院“只是失去了决定这个案件所提出的简单但情感化和高度政治化问题的意愿。”

医院法律

这一决定“意味着爱达荷州的怀孕患者获得了她们所需的堕胎护理，这是至关重要的，”国家妇女法律中心的生殖权利和健康副总裁格雷琴·博切尔特（Gretchen Borchelt）表示。“但同时，这并不能给全国各地的怀孕人士带来安慰。看起来这让情况没有得到解决。”

这个案件是自2022年保守派多数派推翻罗伊诉韦德（Roe v. Wade）以来，最高法院首次审视州堕胎禁令。法院于6月13日维护了广泛使用的堕胎药米非司酮的全面获取，称反堕胎医生和组织缺乏提起诉讼的法律资格。

拜登政府认为，联邦紧急医疗救治和劳工法覆盖了州立的堕胎禁令，当有人因医疗紧急情况出现在医院时。众所周知，1986年的EMTALA法案要求接受联邦资金的医院为这些患者提供稳定的护理。

政府在2022年8月爱达荷州的禁令生效之前提起诉讼，两家下级法院表示，在法律斗争继续进行期间，医生可以继续在健康紧急情况下进行堕胎手术。最高法院在一月份介入，暂停了下级法院的裁决，并宣布大法官们将听取论点。

案件是莫伊尔诉美国，23-726，以及爱达荷州诉美国，23-727。

美国最高法院限制了证券交易委员会在内部法官面前提出投诉的能力，称被告在机构寻求财务处罚时有权向联邦陪审团陈述自己的案情。

这项6-3的决定可能会减少委员会施加高额和解的筹码。这对证券交易委员会曾经用来裁决每年超过100起案件的行政系统造成打击，后来在法律挑战中缩减了规模。