OpenAI在首席科学家Ilya Sutskever离职后解散了关键安全团队 - 彭博社
Rachel Metz, Shirin Ghaffary
Sam Altman,OpenAI首席执行官。
摄影师:David Paul Morris/Bloomberg
在德克萨斯州休斯敦乔治·布什国际机场的美国联合航空登机口显示的Microsoft Windows恢复屏幕,日期为7月19日。
摄影师:David Paul Morris/BloombergOpenAI已经有效地解散了一个专注于确保未来可能的超强人工智能系统安全性的团队,该团队的两位领导人离职,其中包括OpenAI联合创始人兼首席科学家Ilya Sutskever。
OpenAI现在将这个所谓的超对齐团队更深入地整合到其研究工作中,以帮助公司实现其安全目标,该公司告诉彭博新闻。该团队成立不到一年,由Sutskever和另一位OpenAI老将Jan Leike领导。
重新考虑该团队的决定是因为最近一系列OpenAI的离职引发了关于公司在开发其人工智能产品时如何平衡速度与安全的问题。备受尊敬的研究员Sutskever,在周二宣布离开OpenAI,此前曾与首席执行官Sam Altman就人工智能的快速发展问题发生冲突。
Leike 在社交媒体上发布了一条简短的帖子后立即透露了他的离职。 “我辞职了,”他说。据一位熟悉情况的人士透露,对于 Leike 来说,Sutskever 的离职是与公司发生分歧后的最后一根稻草,该人士要求不透露身份以便讨论私人对话。
在周五的一份声明中,Leike 表示超对齐团队一直在争取资源。Leike 在 X 上写道:“在过去几个月里,我的团队一直在逆风航行。” “有时我们为计算资源而苦苦挣扎,越来越难以完成这一关键研究。”几个小时后,Altman 回应了 Leike 的帖子。Altman 在 X 上写道:“他是对的,我们还有很多工作要做。” “我们致力于完成它。”
超对齐团队的其他成员在最近几个月也离开了公司。Leopold Aschenbrenner 和 Pavel Izmailov 被 OpenAI 开除了。《The Information》早些时候报道了他们的离职。据一位熟悉情况的人士透露,Izmailov 在离开之前已被调离团队。Aschenbrenner 和 Izmailov 没有回应评论请求。
John Schulman,这家初创公司的联合创始人,其研究重点是大型语言模型,将成为 OpenAI 未来对齐工作的科学负责人,公司表示。另外,OpenAI 在一篇博客文章中表示,已任命研究总监 Jakub Pachocki 接替 Sutskever 担任首席科学家。
“我非常有信心他将带领我们快速而安全地朝着确保通用人工智能造福所有人的使命迈进,”Altman在周二关于Pachocki任命的一份声明中说道。AGI,或通用人工智能,指的是在大多数任务上能够表现得和甚至更好于人类的人工智能。AGI目前尚不存在,但创造它是公司使命的一部分。OpenAI还有员工参与公司各个团队的AI安全相关工作,以及专注于安全的个人团队。其中一个是于去年十月成立的准备团队,专注于分析并试图避免AI系统潜在的“灾难性风险”。
超对齐团队旨在应对最长期的威胁。OpenAI于去年七月宣布成立了超对齐团队,表示将专注于如何控制和确保未来比人类更聪明的人工智能软件的安全性 —— 这是公司长期以来设定的技术目标之一。在公告中,OpenAI表示当时将把公司20%的计算能力用于该团队的工作。
去年十一月,Sutskever是几位OpenAI董事会成员之一,他们决定解雇Altman,这一决定引发了公司五天的风波。OpenAI总裁Greg Brockman因抗议而辞职,投资者反叛,几乎所有这家初创公司约770名员工在几天内签署了一封信,威胁说要辞职,除非Altman被重新聘用。在一次引人注目的逆转中,Sutskever也签署了这封信,并表示后悔参与了Altman的罢免。不久之后,Altman被恢复职务。
在阿尔特曼离开并回归后的几个月里,苏茨凯弗基本消失在公众视野中,引发了关于他在公司中继续扮演角色的猜测。据一位知情人士透露,苏茨凯弗也停止在OpenAI旧金山办公室工作。
在他的声明中,莱克表示,他的离职是因为与OpenAI在公司“核心优先事项”上发生一系列分歧,他认为公司没有足够关注与创造可能比人类更有能力的人工智能相关的安全措施。
在本周早些时候宣布离职的一篇帖子中,苏茨凯弗表示,他“确信”OpenAI将在目前的领导下,包括阿尔特曼,开发出“既安全又有益”的通用人工智能。
一位美国政府高级网络安全官员抨击了CrowdStrike Holdings Inc.,称其因推送一个崩溃了全球企业和政府系统的有缺陷更新而犯下了“严重错误”。
“这对全球关键基础设施运营造成了严重影响,”网络安全和基础设施安全局局长詹·伊斯特利在周六发表在LinkedIn上的帖子中说。“任何构建任何类型软件的公司都应该将设计、测试和交付工作重点放在大幅减少缺陷数量上,”她说。