GPT-5别整了！马斯克Bengio等联名疾呼：所有先进AI系统暂停研发6个月_风闻

　　杨净 发自 凹非寺

　　量子位 | 公众号 QbitAI

　　GPT-4让大牛慌了，紧急联名成立人类拯救派：

　　所有AI实验室立即暂停训练GPT-4更先进的AI系统！

　　至少6个月限期。

　　包括马斯克、Bengio在内的上千位产学研代表联名发表公开信“暂停巨型AI实验”，瞬间引起轩然大波。

　　信中强调：如果不迅速实施，那么政府应该介入强制执行。

　　我们熟知的一些大咖，比如Stability AI CEO、07年图灵奖得主、苹果联合创始人、多位DeepMind工程师也都赫然在列。

　　有网友表示：这是三体照进现实？降临派、拯救派和幸存派不是开玩笑的。

　　我目前是幸存派。

　　马斯克Bengio联名呼吁

　　在这封联名公开信中，他们提出了三个方面的需求和建议举措：

　　首先、立即暂停比GPT-4更先进的AI系统训练，时间至少是6个月。

　　这一要求是覆盖了所有的人工智能实验室，尤其是这当中的关键参与者。

　　并且暂停举措必须是公开、可验证的。如果AI机构不能立即实施，那么政府应该介入强制执行。

　　其次，利用这段时间，开发和实施一套共享安全协议，用于高级人工智能设计和开发，并由独立外部专家进行严格审核和监督。

　　信中还明确指出：这并不意味着总体限制一般人工智能的发展，而是从目前危险的竞技中退后一步，避免更强大、更不可预测的黑箱模型和新兴能力出现。

　　人工智能的研究和发展，应该重新聚焦于朝着更准确、安全、可信可解释等的AI系统开发工作上来。

　　第三，开发者应同政策制定者一道，共同加速开发人工智能治理系统。这个治理系统至少包括：

　　专门负责人工智能的全新监管机构；

　　监督和跟踪高能力的AI系统和大型算力池；

　　注明出处和水印系统，帮助区分真实和合成、以及跟踪模型泄露；

　　健全的审计和认证生态系统；

　　对人工智能造成的伤害进行责任认定；

　　为人工智能安全技术研究提供强大的公共资金；

　　以及提前预防人工智能导致的巨大经济政治破坏。

　　最后，还畅想了一下未来。

　　在成功创造出强大的AI系统之后，我们现在享受一个“人工智能夏天”。但这个夏天希望能够漫长一点，需考虑到所有人的利益，并给社会一个适应的机会，暂停使用一些危害系统；而不是毫无准备地冲进“秋天”。

　　内涵OpenAI和奥特曼

　　这么做的原因，无非就是忌惮当前GPT-4的强大。

　　毕竟连OpenAI老板奥特曼自己也承认：AI确实可能杀死人类。

　　在公开信的最前面，他们（用一堆车轱辘话）解释了这么做的原因，其中不乏一些内涵OpenAI和老板奥特曼的话。

　　比如一上来就是，正如广泛研究和顶级人工智能实验室所承认的那样，能与人类竞争的AI系统会对社会和人类构成风险。

　　本该进行谨慎的规划和管理没有进行，反而演变成一场失控的AI竞速。没有人——甚至他们的创造者——能够理解、预测或可靠地控制。

　　甚至还发四连问：

　　我们应该让机器人在我们的信息渠道中充斥着宣传和不真实吗？

　　我们是否应该把所有的工作都自动化，包括那些有成就感的工作？

　　我们是否应该开发非人类的大脑，使其最终超过我们的数量，胜过我们的智慧，淘汰我们并取代我们？

　　我们是否应该冒着失去对我们文明的控制的风险？

　　他们认为这样的决定决不能委托给未经选举的技术领袖。

　　（奥特曼：直接报我名字得了）

　　而OpenAI最近关于人工通用智能的声明提到「独立的审查」、「限制先进模型的计算增长速度」等方案，他们认为应该现在就开始进行。

　　截至现在，这个公开信已有1100+的AI从业者签署，其中不乏一些知名的大牛。

　　学界包括伯克利计算机系教授Stuart Russell、Hopfield网络发明者John J Hopfield，2007年图灵奖得主Joseph Sifakis、IEEE计算机先驱UML之父Grady Booch、沃尔夫物理学奖得主斯坦福教授Pablo Jarillo-Herrero等。

　　产业界有苹果联合创始人Steve Wozniak、Stable Diffusion背后公司Stability AI首席执行官Emad Mostaque，多位Deepmind工程师等。

　　不过需要多说一句的是，这封联名信属于公开署名，任何人都可以申请，后续名单的真伪性有待查证。

　　甚至还有人发现名单里还出现了同名奥特曼。（狗头）

　　LeCun：我不签

　　回过头再来看深度学习三巨头看待ChatGPT，如今Bengio态度已经是再明显不过。

　　至于Hinton还忙着追赶，他的社交平台还停留在15日，称RLHF机制是在催熟AI。

　　至于LeCun则是忙着“破防”，前几日还痛批GPT系列没前途，世界模型 is the best。

　　不过对于这场联名行为，他明确持反对态度。

　　看来又要跟马库斯打一架了（不是）。

　　对于这项“拯救行动”，你觉得你是什么派呢？

　　参考链接：

　　[1]https://weibo.com/1646802810/MztAJ7DVy

　　[2]https://futureoflife.org/open-letter/pause-giant-ai-experiments/?continueFlag=d19c796896f3776241c518f8747afa68

　　[3]https://twitter.com/GaryMarcus/status/1640884040835428357