初创公司Synth Labs以人工智能对齐使命正式启动 - 彭博社

人工智能软件并不总是按照构建它的人的意愿去做事情 — 这是一个潜在的危险问题，已经困扰着一些从事这项技术的大公司。

像OpenAI和Alphabet Inc.的Google这样的大公司正越来越将员工、资金和计算能力投入到这个问题中。而OpenAI的竞争对手Anthropic已经将这个问题置于其Claude产品的开发核心，该产品被宣传为一种更安全的AI聊天机器人。

从本月开始，一家名为Synth Labs的新公司也开始着手解决这个问题。该公司由一些知名的人工智能行业人士创立，本周即将从隐秘状态中走出，并已从微软公司的风险投资基金M12和Eric Schmidt的First Spark Ventures筹集了种子资金。Synth Labs主要专注于构建软件，其中一些是开源的，以帮助一系列公司确保他们的人工智能系统按照他们的意图行事。该公司定位自己为一个正在透明和协作工作的公司。

对齐，有时也被称为这个问题，代表着人工智能应用面临的技术挑战，比如建立在大型语言模型之上的聊天机器人，这些模型通常是在大量互联网数据上进行训练的。这一努力受到人们伦理和价值观的影响 — 以及人们对人工智能应该和不应该被允许做的想法 — 的复杂性。Synth Labs的产品将旨在帮助引导和定制大型语言模型，特别是那些本身是开源的模型。

公司起初是作为非营利性人工智能研究实验室EleutherAI内的一个项目开始的，由三位创始人中的两位——Louis Castricato和Nathan Lile——以及Synth Labs顾问兼EleutherAI执行董事Stella Biderman共同开展。生物技术公司Illumina Inc.的前首席执行官Francis deSouza也是创始人之一。Synth Labs拒绝透露他们迄今为止筹集了多少资金。

在过去几个月里，这家初创公司已经开发出可以方便地评估大型语言模型在复杂主题上的工具，Castricato表示。他说，目标是使易于使用的工具普及化，可以自动评估和调整人工智能模型。

最近研究论文由Castricato、Lile和Biderman共同撰写，展示了公司的方法：作者们使用了由OpenAI的GPT-4和Stability AI的Stable Beluga 2人工智能模型生成的提示的回应，创建了一个数据集。然后，该数据集被用作自动化过程的一部分，指导一个聊天机器人避免谈论一个话题，而是谈论另一个话题。

“我们考虑设计一些早期工具的方式实际上是为了让您有机会决定对于您的业务或个人偏好来说，对齐意味着什么，”Lile说。