“AI教父”辛顿, 姚期智等科学家：确保高级人工智能系统的对齐与人类控制，保障人类福祉

近日，由上海期智研究院，AI安全国际论坛 (Safe AI Forum)，以及上海人工智能实验室主办的第四届AI安全国际对话 (International Dialogues on AI Safety) 在上海举行。全球顶尖的人工智能 (AI) 科学家齐聚上海，就未来人工智能系统可能超越人类智能水平带来的失控风险，进行了深入的交流与研讨。

本次会议促成了《AI安全国际对话上海共识》（以下简称“上海共识”），首次呼吁全球各国政府及研究人员“确保高级人工智能系统的对齐与人类控制，保障人类福祉”。

共识指出，人工智能正迅速逼近并可能超越人类智能水平。然而，依据现有的系统欺瞒人类开发者的证据推测，具有超过人类智慧的人工智能系统可能在未来脱离人类控制或被不法分子利用，带来灾难性风险。因此，全球研究者必须联合起来，确保人工智能系统受人类掌控且符合人类价值观。

国内外人工智能安全与治理领域领军人物，包括图灵奖得主姚期智教授，诺贝尔奖和图灵奖得主杰弗里·辛顿 (Geoffrey Hinton)教授，图灵奖得主约书亚·本吉奥 (Yoshua Bengio) 教授（远程），加州大学伯克利分校计算机科学教授斯图尔特·罗素 (Stuart Russell) 等出席本次会议，并签署了上海共识。

据悉，2024年，辛顿、姚期智、罗素、本吉奥等专家共同签署的“北京共识”聚焦在对AI风险的划定、治理、评估、与合作几个部分，尤其是呼吁行业为AI的研发和应用戴上“紧箍咒”，避免相关技术被滥用，而“上海共识”则是聚焦通用人工智能系统的对齐与控制，提前规避安全风险。（古雨）