OpenAI和其他公司寻求更智能AI的新路径，因为当前方法遇到限制 | 路透社

第1项，共2项 一台键盘放置在2023年2月21日拍摄的展示OpenAI标志的前面。路透社/Dado Ruvic/插图/档案照片

一台键盘放置在2023年2月21日拍摄的展示OpenAI标志的前面。路透社/Dado Ruvic/插图/档案照片11月11日（路透社） - 像OpenAI这样的人工智能公司正在努力克服在追求更大规模的大型语言模型过程中出现的意外延迟和挑战，通过开发更像人类思维的训练技术来“思考”。十几个人工智能科学家、研究人员和投资者告诉路透社，他们相信这些技术，正是OpenAI最近发布的o1模型背后的技术，可能会重塑人工智能军备竞赛，并对人工智能公司对资源的无尽需求产生影响，从能源到芯片类型。OpenAI拒绝对此报道发表评论。在两年前发布病毒式传播的ChatGPT聊天机器人后，受益于人工智能热潮的科技公司公开表示，通过增加更多数据和计算能力“扩大规模”当前模型将持续改善人工智能模型。

但现在，一些最著名的人工智能科学家正在对这种“越大越好”的理念的局限性发声。

伊利亚·苏茨克维尔，AI实验室安全超级智能（SSI）和OpenAI的联合创始人，最近告诉路透社，扩大预训练的结果——这是训练AI模型的一个阶段，使用大量未标记的数据来理解语言模式和结构——已经达到了瓶颈。

苏茨克维尔被广泛认为是通过在预训练中使用更多数据和计算能力来实现生成AI重大进展的早期倡导者，这最终创造了ChatGPT。苏茨克维尔在今年早些时候离开OpenAI，创立了SSI。

“2010年代是扩展的时代，现在我们再次回到了奇迹和发现的时代。每个人都在寻找下一个东西，”苏茨克维尔说。“扩展正确的事物现在比以往任何时候都更重要。”

苏茨克维尔拒绝分享更多关于他的团队如何解决这个问题的细节，只表示SSI正在研究一种替代的预训练扩展方法。

在幕后，主要AI实验室的研究人员在发布一个超越OpenAI的GPT-4模型（该模型近两岁）的竞争中遇到了延迟和令人失望的结果，据三位熟悉内部事务的消息人士透露。

所谓的大型模型的“训练运行”可能花费数千万美元，通过同时运行数百个芯片。考虑到系统的复杂性，它们更可能出现硬件故障；研究人员可能要等到运行结束才能知道模型的最终性能，而这可能需要几个月的时间。

另一个问题是大型语言模型消耗大量数据，而AI模型已经耗尽了所有的世界上易于获取的数据。电力短缺也阻碍了训练过程，因为该过程需要大量的能量。为了克服这些挑战，研究人员正在探索“测试时计算”，这是一种在所谓的“推理”阶段增强现有AI模型的技术，即在模型被使用时。例如，模型可以实时生成和评估多个可能性，而不是立即选择一个单一答案，最终选择最佳路径。

这种方法允许模型将更多的处理能力用于像数学或编码问题这样的挑战性任务，或需要类人推理和决策的复杂操作。

“结果表明，在一局扑克中让一个机器人思考仅20秒的效果与将模型规模扩大100,000倍并训练100,000倍的时间相同，”OpenAI的研究员Noam Brown在上个月的旧金山TED AI会议上表示，他参与了o1的研究。

OpenAI在其新发布的模型“o1”中采用了这一技术，该模型以前被称为Q*和草莓，路透社在七月份首次报道了这一消息。O1模型可以以多步骤的方式“思考”问题，类似于人类推理。它还涉及使用从博士和行业专家那里策划的数据和反馈。o1系列的秘密在于在“基础”模型（如GPT-4）之上进行的另一组训练，公司表示计划在更多和更大的基础模型上应用这一技术。与此同时，来自Anthropic、xAI和Google DeepMind的其他顶级AI实验室的研究人员也在努力开发他们自己版本的技术，五位熟悉这一工作的消息人士表示。

“我们看到很多可以快速改善这些模型的低垂果实，”OpenAI的首席产品官Kevin Weil在十月的一次技术会议上说。“在其他人赶上之前，我们会努力再领先三步。”

Google和xAI没有回应评论请求，Anthropic也没有立即发表评论。

这一变化可能会改变AI硬件的竞争格局，目前这一领域主要由对Nvidia AI芯片的巨大需求主导。来自Sequoia到Andreessen Horowitz的知名风险投资者，已经投入数十亿资金支持OpenAI和xAI等多个AI实验室的昂贵AI模型开发，正在关注这一转变，并评估其对他们昂贵投资的影响。

“这一转变将使我们从一个庞大的预训练集群的世界转向推理云，这是一种分布式的、基于云的推理服务器，”Sequoia Capital的合伙人Sonya Huang告诉路透社。

对Nvidia最尖端的AI芯片的需求推动了其成为全球最有价值公司的崛起，并在十月超越了苹果。与训练芯片不同，Nvidia在推理市场可能面临更多竞争。

当被问及其产品需求可能受到的影响时，Nvidia指出了最近公司关于o1模型背后技术重要性的演示。其首席执行官Jensen Huang谈到了对其芯片用于推理的需求日益增加。

“我们现在发现了第二个缩放法则，这就是推理时的缩放法则……所有这些因素导致对Blackwell的需求非常高，”黄在上个月印度的一次会议上说，指的是该公司的最新AI芯片。

路透社每日简报提供您开始一天所需的所有新闻。请在 这里注册。