AI观察｜OpenAI CEO：对AI的监管应该建立类似原子能机构_风闻

走出去智库观察

在经历数轮关于AI监管的对谈和磋商后，最近很少发声的OpenAI首席执行官Sam Altman于5月9日接受了新访谈。

此次对谈的另一人是Stripe首席执行官Patrick Collison，其21岁时创办了在线支付Stripe公司，2022年以95亿美元财富位列“福布斯全球富豪榜”第214位。

走出去智库（CGGT）观察到，通过此次访谈，Sam对大语言模型和AI的未来、监管的方式、竞争对手和中国AI发展，以及AI领域的创投机会都表达了更成熟、更系统化的思考。

今天，走出去智库（CGGT）刊发此次访谈的内容（略有删减）****，供关注AI发展和监管的读者参阅。

要 点

CGGT，CHINA GOING GLOBAL THINKTANK

1、在AI的发展中，我们正在进入一个新阶段，在某些领域需要大量聪明的专家给出反馈，以使模型变得尽可能智能。这可能会引发一轮的RLHF人才争夺战。大模型的数据缺口可以通过合成数据弥补，简单地通过互联网数据把Transformer扩展起来的方法会失效。

2、AI监管应该建立起类似原子能机构这样保证核不扩散的国际组织，根据硬件和能源使用情况监控所有AI公司，所有超过能力阈值的系统都需要接受审核。

3、后续AI行业会产生分化，开源AI负责产出商业化产品和应用创新，闭源AI负责建构超级智能，以解决前沿的科学研究问题。商业化AI方面最有前景的领域是AI投资决策技术和AI自动化办公辅助。

4、Google是很有力的竞争对手，中国在AI领域可见到的成功太少，透明度较低。

正 文

CGGT，CHINA GOING GLOBAL THINKTANK

Patrick：我猜几乎所有在场的人都是ChatGPT的用户。你（Sam）最常用的ChatGPT是什么样的，就是你在不测试AI的时候，你真的想要用的时候，ChatGPT完全是你的工具吗？

Sam：ChatGPT无疑是汇总文摘。如果没有它，我已经不知道怎么继续工作。我可能无法处理电子邮件和Slack（一种基于云端运算的即时通讯软件）。希望能随着时间的推移，我们为这个场景构建一些更好的插件；但即使是手动操作也效果相当好。

**Patrick：**有没有任何插件成为你的工作流程的一部分？

**Sam：**我偶尔在代码解释器中浏览。但说实话，对我个人来说，它们还没有真正像是日常习惯的一部分。

AI监管：建立AI国际化监管机构，所有超过能力阈值的系统都需要接受审核

**Patrick：**核武器的秘密应该被机密处理吗？

**Sam：**我认为当今世界之所以能够避免核灾难，并不完全是因为把秘密做了机密处理，而是人们做了一些更聪明的事情。这些事情所需要的力量是巨大的，基本上需要国家的参与。建立国际原子能机构是一个好决定，包括其他一些方面。因此，机密化核武器的秘密可能会有所帮助，但我不认为这（机密化处理）会是一个完全的解决方案。

**Patrick：**现在AI安全问题已经成为关注重点，我们应该从核不扩散的经验中吸取什么最重要的教训？

Sam：首先，我认为过分借鉴以前的教训是一个错误，因为每种技术形式都是不同的。我认为核材料和AI超级计算有一些相似之处，这是可以借鉴和获得启示的方面，但我会提醒人们不要过度学习上一件事的教训。我认为，可以建立一个类似于国际原子能机构的AI机构，让每个人都参与到对极其强大的AI训练系统的全球监管机构中来，这是一个非常重要的事情。这就是我们可以学到的一个教训。

**Patrick：**如果它被建立了，明天就存在了，那么它应该首先做什么呢？

**Sam：**任何超过设定阈值的系统——实现这个最容易的方法是计算阈值（最好的方法是能力阈值，但这更难以衡量）——我认为都应该接受审核。应该让该机构有完全的可视化权限，要求在发布系统之前通过某些安全评估，这是第一件事。

**Patrick：**有些人可能会认为，不知道该如何描述这种情况，也有更好战的一方可能会认为，这件事情中国不会这么做。因此，我们只会束缚自己，因此这件好事情无法实施。

**Sam：**有很多人对中国会或不会做什么发表了非常强硬的言论，但他们从未去过中国，也从未与曾经和中国进行过外交工作的人交谈过，他们对复杂的高风险国际关系几乎一无所知。我认为这显然非常困难，但我认为没有人想要摧毁整个世界，所以至少有理由尝试一下。

我认为其中有一些不同的事情，这就是为什么从过去任何一种技术类比中学习都是危险的。

这些不同的事情，包括能源跟踪和能源数量，但制造最有能力的GPU的人并不多，你可以要求他们都安装一种监测设备，如果其正在与超过10，000个其他GPU进行通信，那么就必须接受监管。

无论如何，我们都有选择的余地。

后续的AI发展：开源的经济应用和闭源模型的超级智能探索并行

**Patrick：**今年最大的惊喜就是开源模型的进步，特别是最近60天左右的疯狂进步。你认为一年后开源模型会有多好？

**Sam：**我认为将会有两个发展方向：一是超级规模化的最佳闭源模型，二是开源社区的进步。虽然开源社区可能会落后几年或多年，但我认为我们将会生活在一个有着非常强大的开源模型的世界，人们会用它们来做各种各样的事情，整个社区的创造力将会让我们所有人感到惊讶。

然后，那些拥有巨大集群的人做前沿研究，虽然将会非常遥远。我认为这是好事，因为我们有更多的时间去解决一些更恐怖的事情。

**Patrick：**David Luan（前OpenAI副总裁）向我阐述，理论上好的模型可能足以完成大部分有价值的经济活动。因此，超大模型可以在科学研究方面做一些事情，比如推动AI的进步，但是对于大多数的实用日常案例，可能一个开源模型就足够。你认为未来会是怎样的？

**Sam：**对于许多经济活动来说，较小的开源模型将足够使用。但是帮助我们发明超级智能，那是非常有价值的活动，就像治愈所有的癌症或发现新的物理规律等等，这些都将由超大模型来实现。

**Patrick：**Facebook现在应该开源Llama吗？

**Sam：**现在这个点上，可能应该。

**Patrick：**他们应该采用开源的基础模型/语言模型，还是只是特别的Llama呢？

**Sam：**我认为Facebook的AI策略在最初的情况下只能说是混乱的，但我认为他们现在开始非常认真，并且他们有非常有才能的人，我预计他们很快就会有更连贯的策略，他们将会是一个令人惊讶的新的真正玩家。

AI的安全性：大家都在指责AI不安全，但没人给出解决方法

**Patrick：**有没有什么新的发现可能会显著改变你对AI灾难性结果的可能性估计，无论是提高还是降低它？

**Sam：**是的，我认为有很多，我认为从现在到超级智能之间的大部分新工作都会使这个概率上升或下降。

Patrick：那么，你特别关注什么？有什么你特别想知道的事情吗？

Sam：首先，我不认为强化学习人工智能（RLHF）是正确的长期解决方案。我不认为我们可以依赖它。我认为它是有帮助的，当然它使这些模型更容易使用。但你真正想要的是理解模型内部的运作情况，并能够使之更可靠，比如说，精确地知道哪个电路或人工神经元集合在发生什么，并能够以一种能够给模型性能带来稳定改变的方式调整它。

还有很多超越这个的研究，但如果我们能让这个方向可靠地工作，我认为每个人的灾难概率（P Doom）都会大幅降低。

Patrick：你认为有足够的可解释性工作正在进行吗？

Sam：没有。

Patrick：为什么不呢？

Sam：你知道，很多人都说他们非常担忧AI的安全，所以这在表面上看起来很奇怪。

大部分声称真的很担心AI安全的人，似乎只是在推特上花时间说他们真的很担心AI的安全，或者做很多其他的事情。

有一些人非常担心AI的安全，并且正在做出很好的技术工作。我们需要更多这样的人，我们也在OpenAI内部投入更多的努力，让更多的技术人员去研究这个问题。

但是，世界需要的不是更多在Twitter上发帖写长篇大论的AI安全人员，而是更多愿意做技术工作，使这些系统安全且可靠的人。我认为这些事情正在发生，包括优秀的机器学习研究者转变焦点，以及新人进入这个领域。

Patrick：参加这次谈话的很多人都是活跃的慈善家，他们中的大多数人在Twitter上发布的内容不是很多，听到这个交流他们可能会资助可解释性领域的一些事情。如果他们有这种想法，下一步应该做什么？

Sam：我认为还没有做出足够尝试的一个策略是，给个人或小团体提供资助。这些人非常技术性，并且想要推动技术解决方案，也许他们正在读研究生或者刚毕业，或者正在读本科。我认为尝试这个是非常值得的，他们需要访问到非常强大的模型，OpenAI正在尝试开展一些项目来支持独立的研究者，但我认为给这些人提供财务支持是非常好的一步。

Patrick：此外，你认为这个领域在多大程度上受技能瓶颈的限制？也就是说，有些人可能具备所需的内在特性，但可能没有所需的四年或者更长时间的学习经历，这对他们的有效性也产生了影响。

Sam：我认为，如果有一个聪明的人，他已经学会了如何做好研究，并且具有正确的心态，那么只需要大约六个月的时间就能让他从一个聪明的物理研究者变成一个有成果的AI研究者。现在我们在这个领域还没有足够的人才，但是人才很快就会到来。我们在OpenAI有一个项目，就是做这个的，我对它的效果感到惊讶。

OpenAI的未来：平台+顶级应用

Patrick：对于OpenAI来说，显然你们想成为一家卓越的研究机构。但是关于商业化，是成为一家消费者公司更重要还是成为一家基础设施公司更重要？

Sam：作为一项商业策略，我是支持平台+顶级应用。

我认为这个模式在很多企业中都取得了成功，原因是充分的。我们开发的消费者产品有助于改进我们的平台。我希望随着时间的推移，我们能够找到方法，让平台也能够改进消费者应用。我认为这是一个良性循环。

正如你指出的，我们的目标是成为世界上最优秀的研究机构，这对我们来说比任何产品化更重要。我们建立这样一个组织，能够不断取得突破性的进展，虽然并非所有尝试都会成功，我们走过了一些弯路，但我们已经找到了比其他人更多的范式转变，并且我们将实现下一个重大突破，这是我们努力的重点。

Patrick：你对OpenAI最引以为豪的突破是哪个？

Sam：整个GPT范式，我认为那是具有变革性和对世界有重要贡献的，它源于OpenAI擅长结合多种方式的工作。

竞争对手和中国：Google最近很专注，中国的成果不明确

Patrick：明天将召开Google I/O开发者大会，如果你是Google的CEO，你会怎么做？

Sam：我认为Google做得很好，他们最近非常专注，真的在努力寻找如何重新打造公司来适应这项新技术，我对他们的表现印象深刻。

这些模型和能力是否真的对搜索构成威胁，还是只是一种表面上的反应，或过于仓促？我认为它们可能会以某种重大方式改变搜索，但并不威胁搜索的存在。所以，如果Google什么都不做，那将真正对Google构成威胁，但显然Google不会无所作为。

Patrick：中国的机器学习研究有多重要？

Sam：我很想知道这个问题的答案：中国的机器学习研究对我们而言有多重要，我们能够看到多少成果。

Patrick：不太多，你说对了，从已发表的文献中了解的并不多。

Sam：但也不是完全没有。

Patrick：你是否了解原因。因为中国研究人员发表论文数量非常大，也有很多在美国进行出色工作的中国研究人员，那么为什么中国的研究论文在单篇论文影响力方面相对较低？

Sam：我猜测，很多人怀疑的是他们没有发表最重要的研究成果。

Patrick：你认为这可能是真的吗？

Sam：对于这个问题，我对自己的直觉不太确定，我感到困惑。

对AI未来应用的畅想：更多取代日常工作，产生出独立的优于人的判断

Patrick：你更希望OpenAI能够实现训练效率的10倍提升，还是推理效率的10倍提升？

Sam：这是一个好问题，将取决于合成数据的重要性。必须选择的话，我会选择推理效率。但我认为正确的衡量指标是考虑所有用于模型训练和推理的计算量，然后进行优化。

Patrick：你提到的推理效率可能是该方程式中占主导地位的项。

推出GPT-2时，只有少数人注意到并真正理解其意义。关于突破的重要性，现在是否正在发生类似的GPT-2时刻？

Sam：我们正在做很多工作，我认为其中一些工作将成为类似GPT-2的重要时刻，如果它们能够结合在一起。但目前还没有什么发布，我可以有很高的信心说这是2023年的GPT-2，我希望到今年年底或明年会有所改变。

Patrick：什么是你使用的最好的非OpenAI的AI产品？

Sam：坦率地说，我想不出其他什么产品。我对世界的了解比较狭窄，但ChatGPT是我每天使用的唯一AI产品。

Patrick：有没有你希望存在的AI产品，你认为我们当前的能力或即将实现的能力使得这种产品成为可能，你期待着它的出现？

Sam：我希望有一种像“副驾驶”一样的产品，可以控制我的整个电脑。它可以查看我的Slack、电子邮件、Zoom、iMessage以及庞大的待办事项和文档，并且在很大程度上完成我的工作。

Patrick：一种类似Siri Plus的产品。

另外，你提到了治疗癌症，这些技术显而易见的应用有哪些，你认为我们已经或即将具备的能力，但目前人们并没有看到人们明显追求的应用？

Sam：有一个无聊的答案和一个令人兴奋的答案。

无聊的答案是，如果你能够开发出非常好的工具，如我上面刚提到的那个应用，并且将每个科学家的工作速度提高三倍、五倍甚至十倍，那么科学发现的速度可能会大大增加，即使它并非直接从事科学研究。

更令人兴奋的是，我认为类似的系统可以开始阅读所有的文献，产生新的想法，在模拟中进行一些有限的测试，然后给科学家发送电子邮件，说：“嘿，你能帮我在实验室中运行这个吗？”这样可能会取得真正的进展。

Patrick：我不知道这里的本体论如何工作，但你可以想象构建更好的通用模型，类似于人类，它可以阅读大量的文献，可能比人类更聪明、记忆更好，然后你可以想象基于某些数据集训练的模型，它们在某个特定领域做一些完全不同于人类的工作，例如将CRISPR映射到编辑精确度之类的事情。这真的是一种特殊用途的模型，在特定领域做一些与人类完全不同的事情。

你认为对这些模型来说，最有用的应用是属于第一类，即创造更好的人类，还是属于第二类，即为目前不易处理的问题域创建这些预测性的架构？

Sam：我真的不知道。在大多数领域，我都愿意给出一些粗略的观点，但在这个领域，我对科学过程和伟大科学家是如何工作的没有足够深入的了解，无法说出我的观点。我觉得，如果我们能够有一天找到如何构建出真正擅长推理的模型，那么它们应该能够自己做出一些科学上的飞跃，但这需要更多的工作。

对监管的态度：过度官僚化监管可能会拖慢创新速度和意愿

Patrick：基于你的经验，你如何看待所有这些AI安全问题？你认为合成生物学应该如何被监管？

Sam：我希望不再有另一种合成病原体导致全球大流行。

我想我们都同意这不是一次好的经历（指新冠肺炎疫情），虽然与可能发生的情况相比，这还不算太糟糕，但我对没有更多的全球协调行动感到惊讶，我认为应该有更多的协调行动。

Patrick：那么我们实际上该怎么做呢？因为我认为与人工智能一样，同样的挑战也适用于合成生物学。我认为这是一种生产装置，合成病原体的生产装置并不一定那么大，因此观测和遥测是困难的。

Sam：我认为这个问题比AI的挑战要复杂得多，我们确实有一些这样的特征，比如巨大的能力和大量的图形处理器。我没有过多地思考这个问题，我会问你我们应该怎么做。我想如果有人告诉我这是个问题，我们应该怎么做，我会打电话给你，所以我们应该怎么做呢？

Patrick：我不知道是否有一个现成的解决方案。我想说的是，我不确定这有多大的帮助，我们需要更多的一般性、可观察性，例如废水测序等等，无论如何都应该这样做，但这并不能帮助我们防止合成生物学的攻击，没有一个巨大的关联数据集，比如人们所感染的病原体，以及随后的纵向健康结果，这就是一个普遍的疯狂事实。

Sam：我认为，提高我们的快速响应、治疗和接种能力是一件明显需要做的事情，我希望现在能有更多的进步。

Patrick：我非常同意这一点，临床试验是限制我们应对新冠病毒的一步。我认为这已经被广泛地报道和评论了，我们在最初就有了疫苗候选品，之后发生的一些事情显然是生产的扩大，但大部分的时间都是在验证疫苗的效果和安全性。我认为这是整个生物医学领域里最容易采取的方法。

目前，埃兹拉·克莱恩和德里克·汤普森正在写一本书，他们认为，很多左翼的观念，是关于自我克制、某种新清教主义的理念。为了实现我们所关心的价值，我们需要更多的创造。他们指出，**许多各种各样的出于善意的但却是自我设限的禁止，阻碍了这一创造过程的实现。**从你所参与的各种事情来看，你认为自我设限和限制对实际创新进展的影响有多大？

Sam：当然，我们需要更多的丰富性。我个人认为，丰富的能源和丰富的智能将是两个非常重要的因素，但也有许多其他的因素。当我们开始能够为世界提供大量的聚变能源时，但要理解实现这些目标的过程有多么痛苦，至少可以说是令人沮丧。这迫使我们开始考虑可以尽快做的各种奇怪的事情，而不是等待所有的许可过程，才将这些能源连接到电网上。在某个国家进行海水淡化，只需要他们的核能机构或其他机构的许可，这比连接到电网要容易得多。

这是一个真正的问题，我认为社会对解决这个问题的意愿并不强烈，这使得问题变得更糟。

最后，我们对这个问题投入的努力，每一个额外的障碍都会使这些创新更不可能发生。所以存在这样的情况，创办一家新公司真的很难，说服人们这是一件好事也很难，特别是现在，人们对此持怀疑态度。然后还有监管问题，需要很多时间应对，导致你甚至不会尝试去做，因此从想法到世界上大规模部署采用的过程中，每一个阶段都有太多的阻力和疑虑。我认为这使得人们尝试的次数比以前少，或者信念比以前少。

来源：Web3天空之城

（作者：城主 | 编辑：腾讯新闻 郝博阳）

免责声明

本文仅代表原作者观点，不代表走出去智库立场。