Anthropic、微软、OpenAI寻求推动人工智能的新方法 - 彭博社

插图：Masha Titova 为彭博商业周刊自从 OpenAI 通过推出 ChatGPT 超级推动生成 AI 时代的两年已经在技术竞争的模糊中过去。OpenAI 及其主要竞争对手 Anthropic、谷歌和 Meta 发布了一系列尖端人工智能模型，每一个都比上一个更为高效。现在，硅谷的信条是，更多的计算能力、更多的数据和更大的模型将导致人工智能的根本性改进，这项技术将在未来几年内改变整个行业。

彭博社商业周刊肯德里克·拉马尔如何将与德雷克的争执转变为音乐超级明星希腊警方称 IVF 诊所患者的鸡蛋被盗如何挥霍你的奖金，从透明电视到冰浴二月份即将上映的最佳电影、书籍、电视、音乐和艺术展然而，发展速度的威胁在 ChatGPT 的第二个生日之前就开始出现。2024 年，OpenAI 和另外两家领先的 AI 公司 遇到了障碍。在 OpenAI 和谷歌，一些软件未能达到内部预期，而由前 OpenAI 员工建立的竞争对手 Anthropic 的一款备受期待的模型的时间表在宣布后滑延。如果生成 AI 的进展以某种持久的方式放缓，将会质疑这项技术是否能够实现行业顶尖创新者所做的更广泛承诺。推动 AI 繁荣进入下一个阶段的方法将是该领域在 2025 年的主要挑战。

这些公司面临着几个障碍。找到新的高质量人造训练数据的来源变得更加困难，以构建更先进的人工智能系统。此外，即使是适度的人工智能性能提升也可能不足以证明创建和运营新模型所需的巨大成本是合理的。Anthropic的首席执行官达里奥·阿莫代伊表示，训练一个尖端模型的成本约为1亿美元，他预计这个数字将在未来几年内达到1000亿美元。OpenAI首席财务官莎拉·弗赖尔表示，可以公平地说，该公司的下一个尖端模型将花费数十亿美元来开发，而且仍然需要“越来越大、越来越昂贵的模型。”

阿莫代伊，Anthropic的首席执行官。摄影师：本杰明·吉雷特/彭博社这些问题引发了对已经投资数十亿美元的人工智能以及这些公司正在积极追求的目标的怀疑——所谓的人工通用智能（AGI），它可能在广泛的任务上与人类相匹配或超越人类。OpenAI和Anthropic的首席执行官之前曾表示，AGI可能只需几年时间，而两者都驳斥了任何他们正在碰壁的建议。然而，其他行业领导者则采取了更谦逊的语气。“我认为进展将变得更加困难，”谷歌首席执行官桑达尔·皮查伊在一次采访中说，纽约时报在12月初的DealBook峰会上。他展望2025年时表示，“低垂的果实已经没有了，山坡变得更陡。”

在一个以创新为荣的行业中，公司正在寻找不同的方法来推动人工智能模型的发展。正在进行的努力包括让计算机模仿人类如何思考问题以更好地解决它，构建在某些任务上表现非常出色的模型，以及用人工智能自身生成的数据来训练人工智能。

特别是OpenAI，一直是能够进行类人推理的人工智能的早期支持者，以应对更复杂的查询并随着时间的推移而改进，特别是在与数学、科学和编码相关的问题上。今年九月，该公司推出了一个名为o1的模型的早期版本，该模型通过在回答用户问题之前花更多时间计算答案来实现这一点。OpenAI在十二月宣布了一个改进版本的模型，首席执行官萨姆·阿尔特曼在社交媒体上称其为“世界上最聪明的模型。”

观看人工智能为何面临收益递减来自彭博原创该公司对o1的信心如此之高，以至于开始提供每月200美元的订阅服务，其中包括访问一个可以使用更多计算能力来回答问题的模型版本等其他功能。

包括谷歌和软件制造商Databricks在内的几家公司，正在开发自己版本的这种方法，这种方法通常被称为测试时或推理时计算。乔纳森·弗兰克尔，Databricks的首席人工智能科学家，表示他预计这种技术将在行业中变得更加普遍。他说，除了提供更好的答案外，这还可以通过将一些成本从发布前的开发重新定位到模型已经在使用并因此产生收入的时间，从而改善构建人工智能模型的经济性。

技术上的反思并不能解决人工智能对数据日益增长的需求。公司们越来越多地转向合成数据，这可以采取多种形式，包括旨在模仿真实人类创作内容的计算机生成文本。内森·兰伯特，艾伦人工智能研究所的研究科学家，表示在开发一个名为Tulu 3的模型时，他和他的同事们促使一个人工智能模型根据特定角色生成问题。例如，他们会要求它假装成宇航员，并设计一个与该职业相关的数学问题，模型会生成一个关于在某个时间月球距离太阳有多远的问题。他们将这些问题反馈到模型中，然后使用问题和答案来微调他们自己的系统。出于某种原因，这种技术提高了Tulu 3的数学能力。“我们不知道为什么它完全有效，”兰伯特说，“这就是合成数据的令人兴奋之处。”

大型语言模型——驱动ChatGPT的那种人工智能软件——旨在复制人类用来交流的词汇，因此仅仅在其生成的内容上训练人工智能系统并不会带来改进，弗兰克尔表示。兰伯特说，过滤人工智能生成的数据以避免重复并验证其准确性是很重要的。一些研究人员还提出了担忧，认为不加选择地使用这些数据进行训练可能会损害模型的性能（他们称之为“模型崩溃”的后果）。

李飞飞，斯坦福大学人本人工智能研究所的共同主任以及人工智能初创公司 世界实验室 的共同创始人，预计人工智能公司将越来越依赖合成数据。她指出，例如，从事自动驾驶汽车技术的人们早已依赖于模拟驾驶数据。“在人工智能的技术栈中，数据与算法同样重要，”李说。“合成数据将发挥巨大的作用。”

如果目标是朝着通用人工智能（AGI）迈进，那么扩大通用模型的规模所面临的问题尤其相关。但历史上，人工智能的设计往往集中在单一任务上，Databricks的Frankle表示，在这一领域还有很多创新的空间。总体而言，他持乐观态度。他将当前人工智能行业的情况比作芯片行业的演变，芯片开发者会遇到看似坚硬的限制，然后提出不同的创新——多核处理器、协处理器、并行处理——以不断改进技术。

“回顾我们的半导体时代，”他说，“你从一个创新走向下一个创新，不断努力向前推进。” ——与 Shirin Ghaffary