马斯克等千名大佬呼吁暂停超强AI研发，中国机遇与挑战并存_风闻

突然间，马斯克、图灵奖得主等千名专家呼吁暂停超强AI研发，至少6个月。

3月15日，OpenAI发布了多模态预训练大模型GPT-4，帮助ChatGPT功能再升级。随后第二天，百度正式发布了备受瞩目的“文心一言”，并开启了第一批内测。中美两家企业一前一后推出自主研发大模型人工智能，将这波全球人工智能浪潮推上了高点。然而就在此刻，网上曝出了一封千位大佬的联名信，要封杀所有比GPT-4强的AI。

01  一封暂停Ai的联名信

在这封联名信上，超过1000位大佬呼吁——我们应该立即停止训练比GPT-4更强大的AI系统，暂停期至少6个月。目前签名的有：

图灵奖得主Yoshua Bengio

Stability AI首席执行官Emad Mostaque

苹果联合创始人Steve Wozniak

纽约大学教授马库斯

马斯克

「人类简史」作者Yuval Noah Harari

……

信中写道：广泛的研究表明，具有与人类竞争智能的人工智能系统可能对社会和人类构成深远的风险，这一观点得到了顶级人工智能实验室的承认。正如广泛认可的“阿西洛马人工智能原则（Asilomar AI Principles，阿西莫夫的机器人三大法则的扩展版本，于2017年由近千名人工智能和机器人专家签署，详细内容见片尾附文）中所述，高级AI可能代表地球生命史上的深刻变化，应该以相应的关照和资源进行规划和管理。不幸的是，这种级别的规划和管理并没有发生，尽管最近几个月人工智能实验室陷入了一场失控的竞赛，以开发和部署更强大的数字思维，没有人——甚至他们的创造者——能理解、预测或可靠地控制。

这封信呼吁，所有人工智能实验室立即暂停训练比GPT-4更强大的人工智能系统至少6个月。这种暂停应该是公开的和可验证的，并且包括所有关键参与者。如果不能迅速实施这种暂停，政府应介入并实行暂停。

纽约大学教授马库斯在这叫媒体转载公开信

有关人工智能大模型领域技术创新对数字经济领域生产力进步的讨论成为热点话题。人工智能大模型可以处理和分析比传统计算机算法更大量、更复杂的数据，从而提高数据分析和决策的准确性和效率，推动数字经济领域生产力的巨大进步。这次多名大佬公开信更说明国家高度重视人工智能发展的重要性。

2020年4月，国务院发布《新一代人工智能发展规划》，指出要充分发挥大数据、云计算、物联网等优势，促进人工智能同实体经济深度融合。目前，我国人工智能市场规模逐年扩大。2022年，我国人工智能市场规模达到2680亿元，已成为全球第二大人工智能市场。随着人工智能成为新一轮科技革命和产业变革的标志性技术，不但自身呈现高速增长的势头，更能为其他产业转型升级赋能。

为此，中国正在加速以人工智能大模型技术推动制造业行业转型升级和经济发展模式转变。所以说，发挥人工智能在产业转型升级中的作用，是推动中国经济迈向高质量发展的必然要求。

02 危机中的机遇，必须抓住

面对人工智能大模型技术浪潮，中国的挑战和机遇并存。中国在人工智能大模型领域取得了一定的进展，但仍然缺少良好的创新生态。当前，中国的大模型算力和算法都与美国顶尖大模型存在差距。从技术创新的角度来说，一些中国企业、研发者以及投资者没能共建一个良好的创新生态，反而更加关注商业化和应用化方面的问题，忽视了底层技术研究的重要性。这种情况的出现主要是由于市场需求和商业回报的压力。许多企业更倾向于追求短期利益和快速成功，而不注重长远的科技研发。

反观美国，由科技企业、科研人员和资本共同打造的创新生态正是美国人工智能模型快速发展的原因之一。其中，资本的长期眼光和耐心尤为重要。在OpenAI成立四个月后，微软就对其进行了10亿美元的投资。2023年微软再次追加100亿美元投资。总的来说，我国产学研界需要更多的共同合作和沟通，为创新提供更多的支持和投入，鼓励企业和研发者注重长期的投资和研发。

图片来源于网络

但中国的天生优势也不可忽视，广泛的商业场景和应用创新为中国发展人工智能大模型提供了良好的环境。得益于我国的海量数据和超大市场的优势，人工智能的日益成熟将会在各个领域和不同应用场景中加快数实融合步伐，进一步全面赋能经济社会发展。

**一是人工智能大模型将推动行业数字化和智能化转型升级。**人工智能产业进入高速发展阶段，人工智能的应用场景从硬件扩展到了软件、服务与平台体系，在工业、农业、医疗领域的行业应用不断深入。一方面，**人工智能可以通过对大量数据的分析和处理，实现智能化的生产和管理。**例如，通过对生产数据的分析，可以实现预测性维护，避免机器故障和停机时间的浪费，提高生产效率和降低成本。另一方面，**人工智能可以对企业内部和外部的大量数据进行挖掘和分析，**提供全面的数据支持，为企业的决策和业务运营提供更加精准的指导。

以金融行业为例，人工智能大模型的应用将会给金融机构带来更智能化的风险控制和投资决策。金融机构可以利用人工智能大模型来分析和预测市场变化和风险事件，从而更好地管理风险并减少损失，也可以利用人工智能大模型来分析市场趋势和数据，预测投资收益和风险，并辅助决策者做出更加科学的投资决策。

二是人工智能大模型将加快推进大数据、云计算和物联网的的布局建设和联动进程。人工智能通过与新一代信息技术，大数据、云计算、物联网、工业互联网、无人驾驶的融合发展，极大地提高各个商业和应用场景下的劳动生产率。大数据和云计算既是人工智能大模型的基础，也因为人工智能高效的采集、存储和分析才有了意义。

同时，**人工智能也可以为物联网提供更加智能化的应用。**人工智能技术可以对海量的物联网数据进行分析和处理，从而提供更加准确的预测和决策支持。例如，在智能制造领域，人工智能可以对生产线上的传感器数据进行分析，从而优化生产过程并提高产品质量。

03  亟待更大政策支持

北京市经济和信息化局于2月13日发布的《2022年北京人工智能产业发展白皮书》中，明确提出支持头部企业打造对标ChatGPT的大模型，着力构建开源框架和通用大模型的应用生态。大力发展国产人工智能大模型，充分发挥应用支撑作用，全面赋能各行各业高质量发展，是我国走好数实融合发展之路的关键所在。随着国内人工智能技术的创新和发展，为行业提供更多的创新机遇和发展空间。

来源：北京市政府官方网站

人工智能发展同步带来的风险对治理能力提出了更高的要求。这主要是因为人工智能所存在的伦理风险和监管问题。

一方面是**人工智能大模型回答的误导性问题和潜在的失控风险。**由于训练数据的偏差和算法的设计问题，人工智能可能会出现偏见和歧视，也包括向公众传播虚假信息和错误信息。在医疗卫生和金融领域，人工智能大模型的训练和决策过程往往是不透明的，这意味着用户无法理解模型如何得出答案。这可能会导致误导性的答案和潜在的失控风险。而人工智能作为工具，也有可能被用作犯罪活动和政治活动，引发不可控的风险。对于大多数人来说，误导性的回答更是存在引起群体激进化和政治分化的风险。但目前各国都没有完善的监管框架来规制由人工智能所产生的误用和滥用问题。

另一方面，**人工智能技术也意味着许多传统的工作岗位可能会大面积减少或消失。**根据OpenAI发布的报告，人工智能驱动的聊天技术可能严重影响美国19%的工作岗位。OpenAI的首席执行官山姆·阿尔特曼也承认，尽管类似的技术可能会释放更多的生产力，也意味着许多人将因此失去工作，因此人们需要去适应和掌握类似的技术。人工智能未来的迭代将影响人们的工作方式，而社会和政策制定者需要为此提前做好准备。

未来中国人工智能应用场景广阔。在中国的产业互联网和数字化转型进程中，人工智能已经被广泛应用，涉及到许多不同领域，例如智能制造、智慧城市、金融科技、医疗健康、智能交通等。

当前中国主要的人工智能大模型有百度文心大模型、阿里通义大模型、腾讯混元大模型、华为盘古大模型等，其中最近最受瞩目的就是百度的文心大模型。国外专家已经开始意识到人工智能危机的时刻，中国的人工智能大模型起步却相对较晚，openAI已经发布到Gpt-4，抛开此次公开信来说，其后续发展速度不可限量。这时百度看准时机快速发布其同类型产品，实数难能可贵。近期科技部启动“人工智能驱动的科学研究”专项部署工作，布局“人工智能驱动的科学研究”前沿科技研发体系，从人工智能的研究提供政策支持，未来，**我国更应加紧建设良好的科技创新生态建设，加速推进国产大模型的研发和更进。**从硬件、软件、机制等方面协同发力，加强关键技术的研究开发，提高大模型产业链上关键基础设施的自主可控度。利用我国广阔市场和海量数据优势，为人工智能技术应用和商业化创新场景，加速数实融合发展。同时，同步加强和完善人工智能领域的法律和规则建设工作，确保发展的安全性和规范性。

——附文《阿西洛马人工智能原则 23 条》——

Asilomar AI Principles

阿西洛马人工智能原则 23 条

Research Issues 科研问题

1) Research Goal: The goal of AI research should be to create not undirected intelligence, but beneficial intelligence.

**研究目的：**人工智能研究的目标，应该是创造有益(于人类)而不是不受(人类)控制的智能。

2) Research Funding: Investments in AI should be accompanied by funding for research on ensuring its beneficial use, including thorny questions in computer science, economics, law, ethics, and social studies, such as:

**研究经费：**投资人工智能应该有部份经费()用于研究如何确保有益地使用人工智能，包括计算机科学、经济学、法律、伦理以及社会研究中的棘手问题，比如：

How can we make future AI systems highly robust, so that they do what we want without malfunctioning or getting hacked?

如何使未来的人工智能系统高度健全(“鲁棒性”)，让系统按我们的要求运行，而不会发生故障或遭黑客入侵?

How can we grow our prosperity through automation while maintaining people’s resources and purpose?

如何通过自动化提升我们的繁荣程度，同时维持人类的资源和意志?

How can we update our legal systems to be more fair and efficient, to keep pace with AI, and to manage the risks associated with AI?

如何改进法制体系使其更公平和高效，能够跟得上人工智能的发展速度，并且能够控制人工智能带来的风险?

What set of values should AI be aligned with, and what legal and ethical status should it have?

人工智能应该归属于什么样的价值体系?它该具有何种法律和伦理地位?

3) Science-Policy Link: There should be constructive and healthy exchange between AI researchers and policy-makers.

**科学与政策的联系：**在人工智能研究者和政策制定者之间应该有建设性的、有益的交流。

4) Research Culture: A culture of cooperation, trust, and transparency should be fostered among researchers and developers of AI.

**科研文化：**在人工智能研究者和开发者中应该培养一种合作、信任与透明的人文文化。

5) Race Avoidance: Teams developing AI systems should actively cooperate to avoid corner-cutting on safety standards.

**避免竞争：**人工智能系统开发团队之间应该积极合作，以避免安全标准上的有机可乘。

Ethics and values 伦理和价值

6) Safety: AI systems should be safe and secure throughout their operational lifetime, and verifiably so where applicable and feasible.

**安全性：**人工智能系统在它们整个运行过程中应该是安全和可靠的，而且其可应用性的和可行性应当接受验证。

7) Failure Transparency: If an AI system causes harm, it should be possible to ascertain why.

**故障透明性：**如果一个人工智能系统造成了损害，那么造成损害的原因要能被确定。

8) Judicial Transparency: Any involvement by an autonomous system in judicial decision-making should provide a satisfactory explanation auditable by a competent human authority.

**司法透明性：**任何自动系统参与的司法判决都应提供令人满意的司法解释以被相关领域的专家接受。

9) Responsibility: Designers and builders of advanced AI systems are stakeholders in the moral implications of their use, misuse, and actions, with a responsibility and opportunity to shape those implications.

**责任：**高级人工智能系统的设计者和建造者，是人工智能使用、误用和行为所产生的道德影响的参与者，有责任和机会去塑造那些道德影响。

10) Value Alignment: Highly autonomous AI systems should be designed so that their goals and behaviors can be assured to align with human values throughout their operation.

**价值归属：**高度自主的人工智能系统的设计，应该确保它们的目标和行为在整个运行中与人类的价值观相一致。

11) Human Values: AI systems should be designed and operated so as to be compatible with ideals of human dignity, rights, freedoms, and cultural diversity.

**人类价值观：**人工智能系统应该被设计和操作，以使其和人类尊严、权力、自由和文化多样性的理想相一致。

12) Personal Privacy: People should have the right to access, manage and control the data they generate, given AI systems’ power to analyze and utilize that data.

**个人隐私：**在给予人工智能系统以分析和使用数据的能力时，人们应该拥有权力去访问、管理和控制他们产生的数据。

13) Liberty and Privacy: The application of AI to personal data must not unreasonably curtail people’s real or perceived liberty.

**自由和隐私：**人工智能在个人数据上的应用不能充许无理由地剥夺人们真实的或人们能感受到的自由。

14) Shared Benefit: AI technologies should benefit and empower as many people as possible.

**分享利益：**人工智能科技应该惠及和服务尽可能多的人。

15) Shared Prosperity: The economic prosperity created by AI should be shared broadly, to benefit all of humanity.

**共同繁荣：**由人工智能创造的经济繁荣应该被广泛地分享，惠及全人类。

16) Human Control: Humans should choose how and whether to delegate decisions to AI systems, to accomplish human-chosen objectives.

**人类控制：**人类应该来选择如何和决定是否让人工智能系统去完成人类选择的目标。

17) Non-subversion: The power conferred by control of highly advanced AI systems should respect and improve, rather than subvert, the social and civic processes on which the health of society depends.

**非颠覆：**高级人工智能被授予的权力应该尊重和改进健康的社会所依赖的社会和公民秩序，而不是颠覆。

18) AI Arms Race: An arms race in lethal autonomous weapons should be avoided.

**人工智能军备竞赛：**致命的自动化武器的装备竞赛应该被避免。

Longer-term Issues 更长期的问题

19) Capability Caution: There being no consensus, we should avoid strong assumptions regarding upper limits on future AI capabilities.

**能力警惕：**我们应该避免关于未来人工智能能力上限的过高假设，但这一点还没有达成共识。

20) Importance: Advanced AI could represent a profound change in the history of life on Earth, and should be planned for and managed with commensurate care and resources.

**重要性：**高级人工智能能够代表地球生命历史的一个深刻变化，人类应该有相应的关切和资源来进行计划和管理。

21) Risks: Risks posed by AI systems, especially catastrophic or existential risks, must be subject to planning and mitigation efforts commensurate with their expected impact.

**风险：**人工智能系统造成的风险，特别是灾难性的或有关人类存亡的风险，必须有针对性地计划和努力减轻可预见的冲击。

22) Recursive Self-Improvement: AI systems designed to recursively self-improve or self-replicate in a manner that could lead to rapidly increasing quality or quantity must be subject to strict safety and control measures.

**递归的自我提升：**被设计成可以迅速提升质量和数量的方式进行递归自我升级或自我复制人工智能系统，必须受制于严格的安全和控制标准。

23) Common Good: Superintelligence should only be developed in the service of widely shared ethical ideals, and for the benefit of all humanity rather than one state or organization.

**公共利益：**超级智能的开发是为了服务广泛认可的伦理观念，并且是为了全人类的利益而不是一个国家和组织的利益。