AI先驱Bengio成立研究小组 致力于开发更安全的智能体——彭博社

AI先驱Yoshua Bengio正成立非营利研究组织，以支持安全的人工智能发展。

摄影师：Graham Hughes/彭博社人工智能先驱Yoshua Bengio正在创建一个新的非营利研究组织，以推动开发前沿人工智能系统的替代方法，旨在减轻该技术的潜在风险。这个名为LawZero的非营利组织将于周二启动，获得来自前谷歌首席执行官埃里克·施密特的一个慈善组织、Skype联合创始人Jaan Tallinn等方的3000万美元支持。Bengio将领导一个由15多名研究人员组成的团队，他们最初致力于构建一个名为“科学家AI”的新技术解决方案，旨在为AI代理提供防护栏。OpenAI、Anthropic和其他AI公司越来越专注于开发能够代表用户处理更复杂任务、几乎无需人工参与的代理。相比之下，Bengio表示，LawZero正在设计一个系统，其行为将像“一个无私、理想化的科学家”，学习理解世界而不是在其中行动。目标是让这个模型与领先的AI代理一起使用，并监督这些系统，最大限度地减少潜在危害。Bengio是蒙特利尔大学的计算机科学教授，与Geoff Hinton和Yann LeCun一起被认为是AI的“教父”之一。近年来，Bengio、Hinton等人对AI是否发展得如此迅速以至于有一天人类可能无法完全控制表示担忧。尽管AI在研究、编码等有益任务上变得更加熟练，但一些系统也表现出了令人担忧的能力，包括欺骗、自我保护和编造虚假信息。Anthropic最近表示，在预发布安全测试期间，其最新的AI模型试图勒索一名工程师，以避免被另一个系统取代。“我们不知道如何设计这些非常强大的AI，使它们只遵循我们的指令，”Bengio说。“如果我们不及时解决这个问题——可能只需要几年时间——我们将面临可怕的风险。”（LawZero是对科幻作家艾萨克·阿西莫夫的机器人零法则的致敬，该法则将保护全人类置于首位。）Bengio表示，最强大的AI代理包含一段称为监控器的代码，旨在作为防护栏。然而，这个监控器的设计与底层系统类似，这可能使其对AI行为的检查不够充分，Bengio说。“你不会把监狱的钥匙交给罪犯，”他说。“我们希望让一个值得信赖的AI负责检查它。”Bengio表示，他已经与OpenAI、谷歌和Anthropic以及政治领导人就他的项目进行了讨论。Bengio认为，不同的参与者可以就安全构建AI的必要性达成一致——尽管华盛顿和硅谷的许多人似乎更关注与中国的AI军备竞赛。“没有人想创造一个怪物，”他说。