《华尔街日报》：有效利他主义如何分裂硅谷——并加剧了OpenAI的动荡

过去几年间，被称为"有效利他主义"的社会运动在硅谷各家人工智能公司中分化了员工与管理层，使信徒与非信徒形成对立。

OpenAI的内爆事件展现了该思潮的影响力——而首席执行官山姆·阿尔特曼的胜利回归则揭示了其刚性边界，为这一引发分裂的哲学理念的坎坷之年画上句点。

就在有效利他主义最著名的支持者山姆·班克曼-弗里德因欺诈罪被定罪数周后，OpenAI的崩溃给这场运动再添打击。该运动认为，精心构建、灌注正确人类价值观的人工智能系统将带来黄金时代——而失败则可能导致灾难性后果。

一年前发布ChatGPT的OpenAI，其创立部分基于有效利他主义原则。这一广泛的社会道德理念影响着硅谷乃至更广泛AI研究界。部分追随者居住在私人集体住宅中，在那里进行头脑风暴、哲学辩论，并通过四人联棋"Bughouse"放松。该运动涵盖致力于动物权利和气候变化的人士，其思想源自理性主义哲学家、数学家及未来预测者。

在科技巨头数亿美元捐款的强力推动下，有效利他主义者认为贸然发展人工智能可能毁灭人类。他们主张AI开发应安全优先于速度。这场运动包含助推生成式AI繁荣的参与者，虽内部封闭且理念多元，但都秉持改善世界的信念——即使这意味着先赚取巨额财富再捐赠给公益事业。

据知情人士透露，周五遭董事会解雇的阿尔特曼，与公司首席科学家兼董事伊利亚·苏茨克维在AI安全问题上的分歧，正反映了有效利他主义的核心关切**。**

参与罢免投票的除主导行动的苏茨克维外，还包括有效利他主义慈善机构"有效风险"的科技高管董事塔莎·麦考利，以及乔治城大学安全与新兴技术中心（由专注有效利他事业的基金会资助）执行董事海伦·托纳。知情人士称，这三人构成了罢免阿尔特曼所需的四票中的三票。董事会指其"持续缺乏坦诚"。

周三公司宣布阿尔特曼将复任CEO，苏茨克维、麦考利和托纳将被替换。主张放缓AI发展、被聘为临时CEO的科技高管埃米特·希尔已离职。

阿尔特曼被解职曾引发公司内部反抗，威胁到OpenAI存续。约770名员工中超700人联署要求其回归，否则将集体跳槽至最大投资方微软。苏茨克维周一公开表示对投票决定感到遗憾。

“OpenAI董事会成员所推崇的‘有效利他主义’理念及其误用，可能延缓了世界获取人工智能巨大福祉的进程。”风险投资家兼OpenAI投资人维诺德·科斯拉在为The Information》撰写的评论文章中写道。

奥特曼今春环球访问期间曾警告，人工智能可能造成严重危害。他同时将有效利他主义称为“存在严重缺陷的运动”，表现出“极其怪异的涌现行为”。

有效利他主义群体投入巨资宣扬人工智能构成生存风险的观点。但得克萨斯大学奥斯汀分校计算机科学家、OpenAI人工智能安全研究员斯科特·阿伦森指出，正是ChatGPT的发布让大众意识到AI发展之迅猛。他表示，这款聊天机器人展现的惊人能力，令此前对此不屑一顾的人开始担忧。

这场运动已席卷科技界的科学家、投资者和高管群体——他们正竞相开发能模拟并最终超越人类能力的人工智能系统。该运动支持者认为，AI虽能带来全球繁荣，但首先须防范其造成灾难性后果。

谷歌等企业正争相成为首个推出媲美人脑AI系统的公司。它们大多将人工智能视为推动工作和经济增长的高利润工具。

运动的高调支持者包括Facebook联合创始人达斯汀·莫斯科维茨，以及Skype创始人、亿万富翁扬·塔林，他们已承诺为有效利他主义研究投入数十亿美元。山姆·班克曼-弗里德在破产前也曾承诺捐赠巨资。埃隆·马斯克称，有效利他主义联合创始人威廉·麦卡斯基尔的著作“与我的哲学观高度契合”。

哲学家威尔·麦卡斯基尔2018年4月12日在温哥华TED2018大会上演讲。图片来源：劳伦斯·苏穆隆/盖蒂图片社风险投资公司安德森-霍洛维茨的联合创始人马克·安德森和初创企业孵化器Y Combinator的首席执行官盖瑞·谭批评了这一运动。谭称其为空洞的“美德信号哲学”，应予以摒弃，以“创造人类繁荣的实际问题”。

有效利他主义者对人工智能毁灭人类的紧迫恐惧“遮蔽了他们接受外界批评的能力”，领导普林斯顿大学团队研究该运动的研究员莎泽达·艾哈迈德表示。“这对于任何试图解决棘手问题的群体都不是好事。”

OpenAI的动荡暴露了硅谷幕后市场信仰者与相信伦理、理性、数学和精密机器应引导未来的有效利他主义者之间的较量。

关于该运动的这一描述基于对50多位高管、研究人员、投资者、现任和前任有效利他主义者的采访，以及有效利他主义社区的公开演讲、学术论文和其他已发表材料。

回形针行动

去年秋天的一天，数千枚OpenAI标志形状的回形针被送到该公司旧金山办公室。似乎没人知道它们来自哪里，但所有人都明白其含义。

有人将一枚回形针遗落在旧金山OpenAI公司。在人工智能界，回形针已成为末日象征。其隐喻在于：若命令一个人工智能系统尽可能多地制造回形针，它可能会为追求产量最大化而毁灭全人类。

这个恶作剧出自Anthropic公司员工之手，这家与OpenAI同城竞争的企业，本身也因AI安全理念分歧而创立。

2021年初，OpenAI首席研究科学家达里奥·阿莫迪与数名高管离职，创立了这家对有效利他主义者友好的AI研究公司Anthropic。

班克曼-弗里德曾是Anthropic最大投资人之一，支持该公司将AI安全置于增长与利润之上的理念。 

即便对AI安全怀有忧虑，人们仍无法抗拒开发现代AGI（人工通用智能）的诱惑——这种尖端系统可媲美甚至超越人脑。

去年12月OpenAI节日派对上，首席科学家苏茨克弗在旧金山加州科学院对数百名员工及宾客演讲，不远处就是博物馆的斑马、羚羊与狮子标本生态展。

“我们的目标是创造热爱人类的AGI”，苏茨克弗说道。

“感受AGI”，他带领众人重复：“跟我念，感受AGI。”

有效利他主义者宣称，他们能构建更安全的AI系统，因其愿投资于"对齐"研究：确保员工能控制所创技术，并使其符合人类价值观。但迄今未有AI企业明确界定这些价值观的具体内涵。

OpenAI最近表示，将在未来四年内将其五分之一的计算资源投入到该公司所称的"超级对齐"项目中，该项目由Sutskever领导。知情人士透露，该团队一直在构建一个由AI衍生的"科学家"，能够对AI系统进行研究。

6月5日，Sam Altman（左）和OpenAI首席科学家Ilya Sutskever在特拉维夫发表演讲。图片来源：JACK GUEZ/法新社/盖蒂图片社感到沮丧的员工表示，对AGI和对齐问题的关注导致解决更紧迫问题的资源减少，例如开发者滥用、欺诈和可能影响2024年选举的恶意AI使用。他们认为资源分配不均反映了有效利他主义的影响。

据熟悉该公司的人士透露，尽管OpenAI正在构建自动化工具来捕捉滥用行为，但并未为此工作雇佣大量调查人员。这些人还表示，该公司监控其开发者平台的员工也很少，该平台被超过200万研究人员、公司和其他开发者使用。

该公司最近雇佣了一名人员来考虑OpenAI技术在2024年选举中的作用。专家警告AI生成的图像可能会误导选民。

在本文发表后，OpenAI表示：“我们是一家以价值观为导向的公司，致力于构建安全、有益的AGI，而有效利他主义并非其中之一。我们有团队专门研究短期风险，如网络安全、经济影响以及将系统与人类价值观对齐。”

Anthropic联合创始人兼首席执行官达里奥·阿莫代于9月20日在旧金山TechCrunch Disrupt 2023活动上。图片来源：Kimberly White/Getty Images据现任及前任员工透露，谷歌今年将其两个人工智能部门——DeepMind与Google Brain合并，引发了关于如何应用有效利他主义原则的分歧。

长期聘用该运动支持者的DeepMind联合创始人德米斯·哈萨比斯负责合并后的部门。

知情人士称，Google Brain员工大多对有效利他主义不予理会，转而探索人工智能的实际应用及AI工具可能被滥用的问题。

一位前员工将此次与DeepMind的合并比作包办婚姻，“让Brain的许多人感到不适”。

毁灭概率(P(doom))

21岁的人工智能安全研究员阿尔琼·帕尼克塞里与其他有效利他主义者共同居住在仙女座之家——这是距加州大学伯克利分校几个街区远的一栋三层五居室住宅。

他们举办晚宴，有时会要求访客透露其"毁灭概率"——即对人工智能灾难发生可能性的预估。

加州伯克利仙女座之家的棋局对弈图片来源：Tzu Kit Chan帕尼克斯里表示，加州伯克利是湾区有效利他主义的中心。一些住宅设有"无AI区"，让人们暂时逃离关于人工智能的持续讨论。

根据开放慈善基金会的网站显示，该机构前CEO霍尔顿·卡诺夫斯基曾与两位OpenAI高管同住。自2015年以来，这家支持有效利他主义事业的非营利组织已向AI相关事业捐赠3.27亿美元，其中包括向OpenAI捐赠的3000万美元。

当卡诺夫斯基与现任Anthropic总裁丹妮拉·阿莫代伊订婚时，他们与丹妮拉的哥哥达里奥（现任Anthropic CEO）是室友。

2017年8月，卡诺夫斯基和丹妮拉·阿莫代伊举办了一场以有效利他主义为主题的婚礼。新人鼓励宾客向卡诺夫斯基创建的有效利他主义慈善机构GiveWell推荐的项目捐款，并建议提前阅读德国哲学家尤尔根·哈贝马斯457页的著作。

“这是理解我们婚礼的必要背景，“这对夫妇在婚礼网站上写道。

有效利他主义运动可追溯至约二十年前，当时牛津大学一群哲学家和他们眼中的“超级硬核行善者”，正在寻找一个营销术语来推广他们功利主义版本的慈善理念。

追随者信奉用有限时间创造最大善行。他们可以尽可能多赚钱，然后捐出大部分资金来解决政府和传统非营利组织忽视或未解决的问题。他们关注的是每花费一美元能产生最大影响或帮助最多人的方案。

本月被定罪的班克曼-弗里德表示，他积累财富只为捐出大部分。

3月30日，FTX创始人萨姆·班克曼-弗里德（中）抵达纽约联邦法院。图片来源：埃德·琼斯/法新社/盖蒂图片社大约从2014年开始，有效利他主义者开始关注先进人工智能系统可能导致人类灭绝的风险，这种威胁与气候变化同等级别。这一认知与瑞典哲学家尼克·博斯特罗姆的著作《超级智能》出版时间吻合，该书使回形针成为人工智能危险的象征符号。

此后，有效利他主义者建立了线上社群网络，在这里交换职业建议、进行哲学辩论并做出预测。相关非营利组织和学生团体定期举办地方聚会及会议，聚焦运用理性思维、经济学和数学解决全球最严峻的问题。

这些遍布全球的聚会活动通常对外封闭。纽约近期一场有效利他主义会议的组织者拒绝了《华尔街日报》记者的参会申请，邮件回复称"录取标准极高”，建议记者"需要更多时间融入有效利他主义社群”。

凯特琳·奥斯特罗夫对本文有贡献。

写信给罗伯特·麦克米伦，邮箱：[email protected]，以及迪帕·西塔拉曼，邮箱：[email protected]

刊登于2023年11月24日的印刷版，标题为《哲学如何分裂硅谷》。