AI监管观察｜对《生成式人工智能服务管理办法》的分析和思考_风闻

走出去智库观察

4月11日，国家网信办发布《生成式人工智能服务管理办法（征求意见稿）》（以下简称“《办法》”），向社会公开征求意见，意见反馈截止时间为2023年5月10日。

**走出去智库(CGGT)特约法律专家、金杜律师事务所合伙人宁宣凤认为，《办法》****是国家针对生成式人工智能监管的第一份“答卷”。当前，**人工智能的监管如何合理地利用 “技术与服务主体区分”“主体责任边界”等立法技术以及“技术中立性保护”“前沿技术在社会应用中的避风港”等社会治理智慧，在人工智能技术尚未展现全貌前，将极大影响我国未来在全球智能化社会中地位。

《办法》有哪些重要规定**？今天，走出去智库（CGGT）刊发金杜律师事务所宁宣凤、吴涵、张浣然的文章，供关注AI监管的读者参考。**

要 点

CGGT，CHINA GOING GLOBAL THINKTANK

1、****《办法》对生成式人工智能服务提供者延续了此前《算法推荐管理规定》《深度合成管理规定》对算法推荐服务提供者以及深度合成服务提供者相类似的监管态度，延续了此前的监管手段，展示出我国在算法治理领域的一致性和连续性。

**2、**虽然欧盟与我国在人工智能服务领域采取的立法方式与监管思路有所区别，但就监管手段而言存在一定共识，通过这些共识，可以窥见部分全球人工智能治理的方式及路径，有所裨益。

3、根据《办法》第二条规定，《办法》适用于“面向中华人民共和国境内公众提供服务”。相较于《深度合成规定》等法律法规之“境内应用”“境内运营”的立法语言，《办法》的域外效力相当明确。

正 文

CGGT，CHINA GOING GLOBAL THINKTANK

文/宁宣凤、吴涵、张浣然

金杜律师事务所

引言

ChatGPT出现引发全球热潮，一方面AIGC（AI Generated Content）应用场景更加丰富，能高效地促进经济和社会的发展，但另一方面AIGC突破性的成果也引发了多方面的危机感。质疑声从个人隐私泄露、商业秘密保护等，进一步延伸到工作机会减少、文化渗透、以及如何保护人类主体性等大问题。特斯拉首席执行官埃隆·马斯克（Elon Musk）、苹果联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）以及其他上千名AI研究人员日前签署公开信，呼吁暂停研究更先进的AI技术。意大利、德国、法国、爱尔兰等8国相继不同程度的表达监管态度，一时间不仅人工智能迎来的奇点，仿佛人类作为生物族群的主体性也到了“生死存亡”的转折点。

但我们理解， AIGC的发展甚至更先进AI技术出现几乎已经不可逆转，当前AI的自主性和普世价值使得它大概率不会如同克隆技术一般被人为的阻止或废弃。需要客观的认识到，科技巨头以及国家之间的AI军备竞赛“开弓没有回头箭”，急踩刹车的监管方式将有可能陷入固步自封的困局。因此，如何有效地防范新型人工智能系统的风险，同时加速国家人工智能产业发展将是各个国家当前面临的“大考”。

国家互联网信息办公室于2023年4月11日发布的《生成式人工智能服务管理办法（征求意见稿）》（“《办法》”），是国家针对生成式人工智能监管的第一份“答卷”。其是在对科技伦理风险预警与跟踪研判的基础上，及时回应当前生成式人工智能带来的风险与冲击的敏捷治理尝试。本文将在梳理《办法》的主要规定，以及与我国现有的算法治理框架的衔接与承继关系的基础上，尝试以比较法的视野对《办法》的算法规制路径加以解读，并据此进一步作出立法展望。

01、生成式人工智能服务管理框架与责任主体义务

1.《办法》的规范框架

就《办法》的规范框架而言，其首先明确了规定的上位法依据、适用范围以及国家对生成式人工智能服务的基本立场，随后规定了责任主体所应履行的义务，并设置相应行政处罚。

《办法》第二条将生成式人工智能定义为基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。基于该定义，《办法》的适用于研发、利用生成式人工智能产品，面向中华人民共和国境内公众提供服务的行为，明确了《办法》在世界互联时代的域外效力。

根据《办法》第五条的规定，《办法》的责任主体是“提供者”，即利用生成式人工智能产品提供聊天和文本、图像、声音生成等服务的组织和个人。提供者包括组织和个人两类主体，根据文义解释，可能不包括仅从事研发的组织和个人。

《办法》对责任主体设定涵盖算法、内容、用户、监管机制等方面的义务，强调与《网络安全法》（“《网安法》”）等上位法，以及《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》（“《安全评估规定》”）《互联网信息服务算法推荐管理规定》（“《算法推荐管理规定》”）《互联网信息服务深度合成管理规定》（“《深度合成管理规定》”）等规范构成的算法治理规范框架紧密衔接，形成对生成式人工智能服务的全方位、多维度规制。

2.责任主体主要义务梳理

以与义务履行最密切的对象为标准，可以大致将《办法》所规定的主要义务划分为监管机制相关义务、算法训练相关义务、内容管理相关义务以及用户相关义务，具体如下表所示。

02、重点内容解读

1.与现行算法治理规范框架的对比与衔接

（1）生成式人工智能服务与算法推荐、深度合成服务治理思路的“一脉相传”

总体而言，《办法》对生成式人工智能服务提供者延续了此前《算法推荐管理规定》《深度合成管理规定》对算法推荐服务提供者以及深度合成服务提供者相类似的监管态度，延续了此前的监管手段，展示出我国在算法治理领域的一致性和连续性。

首先，在监管理念方面《办法》承继了 “科技向善”的精神。“科技向善”是我国算法治理领域的基本原则之一。2021年底，《算法推荐管理规定》首次在部门规章层面纳入“向善”的目标，要求算法推荐服务提供者不仅应坚持主流价值导向，积极传播正能量，同时应当采取措施防止和抵御传播不良信息。2022年， AI换脸的社会事件层出不穷，引发人们对Deepfake等深度合成技术的关注，《深度合成管理规定》出台后，其也强调深度合成服务应当“向上向善”。目前旨在规制生成式人工智能的《办法》，虽然其文本并未明确提出“向善”的概念，但明确了提供者遵守社会公德、公序良俗的义务，并强调了防止生成虚假信息、禁止商业炒作和不正当营销等义务。我们理解，提供者的上述义务对促进生成式人工智能服务的“向上向善”具有积极意义，有助于实现我国算法与人工智能的体系化治理。

其次，在监管手段方面，《办法》延续了此前国家网信办在《算法推荐管理规定》《深度合成管理规定》中采取的措施，除了个人信息保护的一般性义务，还要求人工智能服务提供者履行安全评估、算法备案、内容标识等义务。

通过上述措施，一方面，监管部门既能通过算法备案了解相关生成式人工智能服务的算法属性，例如算法数据、算法策略、算法风险与预防机制等，也能根据安全评估实现对相关生成式人工智能服务的相关信息尤其是安全管理制度及技术措施落实情况等的了解。另一方面，生成式人工智能服务面向的用户也可通过标识区分通过特定算法技术生成的内容，对相关技术的使用充分知情，从而对相关互联网信息内容进行理性的筛选与价值判断。此外，在事后监管方面，为了便利国家网信部门等监管部门的执法能力，从而加强对用户权益的保护，《办法》承继了《算法推荐管理规定》与《深度合成管理规定》赋予相关部门“算法服务检查”[2]的权力，在此基础上进一步明确提供者应按要求提供包括训练数据来源、规模，人工标注规则等可以影响用户信任、选择的必要信息，以信息与数据为“抓手”，实现对具有复杂性、模糊性、易变性的人工智能的治理。

在算法与人工智能技术日新月异的当今社会，以应用领域为基础，深入各领域规制相应的算法或人工智能服务具有积极意义。在ChatGPT等生成式人工智能在语言、翻译等领域为人类带来便利的同时，知识产权、个人信息侵权等现象可能随时发生，因为算法与人工智能技术的进步需要大量的数据训练，获取数据的过程中，相应的数据风险伴随左右；而人工智能在生成内容时，也可能因算法歧视等问题产生违法与不良信息，因此，我国继算法推荐、深度合成领域治理，制定《办法》及时回应人们的关切，深入生成式人工智能服务领域的治理工作是相当有益的尝试。

（2）《办法》亟待厘清与《深度合成管理规定》《算法推荐管理规定》的衔接与适用

如前所述，虽然《办法》期待实现与《算法推荐管理规定》《深度合成管理规定》的联系与互动，但我们理解，具体条款的衔接方式与内容尚待进一步厘清。具体而言，《办法》与其他算法治理规范，尤其是《深度合成管理规定》的衔接与适用主要存在规制对象、义务适用缺乏充足的确定性等难题。

1）《办法》与《深度合成管理规定》规制对象之辨析

《办法》

本办法所称生成式人工智能，是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。

《深度合成管理规定》

深度合成技术，是指利用深度学习、虚拟现实等生成合成类算法制作文本、图像、音频、视频、虚拟场景等网络信息的技术，包括但不限于：……

根据前述规范定义，深度合成和生成式人工智能均可通过一定的算法生成文本、图片、声音等内容，因此《深度合成管理规定》和《办法》的规制对象可能存在一定程度的重叠。为理解《深度合成管理规定》和《办法》的适用关系，我们首先需要结合生成式人工智能与深度合成技术的相关性来适用相关规定。

目前，有观点认为，《办法》所称的生成式人工智能除了算法，还可利用模型、规则生成代码、视频等内容，和深度合成相比，生成式人工智能更具适用上的广泛性。我们理解，《办法》所称的生成式人工智能，相较《深度合成管理规定》对深度合成技术的定义，除包括利用算法技术，还可基于模型、规则生成内容。但在人工智能领域中， “模型”是指基于已有数据集，运行机器学习算法所得到的输出，即模型就是运行算法后得到的产物，因此前述区别并非实质性区别，难以支撑《办法》的适用范围必然广于《深度合成管理规定》的结论。与此同时，学界则倾向于认为生成式人工智能、生成式人工智能内容应用仅是深度合成技术的子集，但是在法律规范层面上，《办法》与《深度合成管理规定》的适用对象可能确有一定程度的混淆不明。

无论如何，在仅以文义解释难以区分《深度合成管理规定》与《办法》规制对象的背景下，将致使规制对象主体义务履行发生冲突或矛盾的困境。举例而言，在两部规范规制对象完全一致的情况下，将会致使所有深度合成服务提供者和深度合成服务提供者需要履行生成式人工智能服务提供者的全部义务。以《办法》第十六条为例，其规定提供者应当按照《深度合成管理规定》对生成的图片、视频等内容进行标识。由于规制对象一致，且《办法》仅设置单一的“提供者”角色，深度合成服务的技术提供者可能同时构成《办法》下的“提供者”，需履行前述标识义务，但这一义务在《深度合成管理规定》下仅归属于深度合成服务提供者，而非技术支持方。基于前述文义解释对于规制对象一致的推定，原有的深度合成服务技术提供者将在《办法》生效后承担过重的义务，二者的规制对象有待进一步澄清。

2）生成式人工智能服务提供者义务范围边界之探寻

如前所述，《办法》延续了此前算法治理领域的相关监管手段，要求生成式人工智能服务提供者履行安全评估、算法备案、内容标识等义务。但是，生成式人工智能服务提供者履行相关义务的边界仍处于模糊的地带，有待进一步说明。

首先需要明确的是，《深度合成管理规定》和《算法推荐管理规定》与《办法》的侧重点本就存在差异。依据三部规定的立法意旨可知，前两者侧重于对互联网信息内容的治理。中共中央印发的《法治社会建设实施纲要（2020－2025年）》明确提出需完善网络信息服务方面的法律法规，其包括了算法推荐、深度伪造等新技术应用的治理。而《办法》整体上聚焦于生成式人工智能的规范应用与发展，除规制为网络用户提供图片、音视频生成等服务，应认为其具有更广泛、更通用性的适用意义。

在此背景下，《深度合成管理规定》和《算法推荐管理规定》均明确规定以“提供互联网信息服务”为适用前提，《办法》与之存在表述上的显著差异，加之对《办法》相关条文的文义解释和对算法治理规范的体系解释，生成式人工智能服务提供者就安全评估、算法备案、内容显著标识的义务履行边界可能存在疑问。

就算法备案义务而言，《算法推荐管理规定》并未要求全体算法推荐服务提供者均应履行算法备案义务，备案义务仅约束具有舆论属性和社会动员能力的算法推荐服务提供者。《深度合成管理规定》同样承继了此种规定，明确说明深度合成服务提供者开发上线具有舆论属性或者社会动员能力的深度合成服务提供者，应履行算法备案义务。据此我们理解，算法备案义务仅限于具有舆论属性和社会动员能力的特定应用服务提供者。但《办法》仅规定“利用生成式人工智能产品向公众提供服务前”，整体上未提及互联网信息服务。如前所述，我们理解，算法备案义务的承担具备一定的条件，而《办法》的行文表述致使不明确是否所有生成式人工智能服务提供者均应承担算法备案的义务。对安全评估义务的适用亦与此有相类似的问题。

就内容标识义务而言，《深度合成管理规定》为深度合成服务提供者施加了标识和显著标识两类义务。对于显著标识义务，与算法备案类似，并非需对其生成的全部信息内容进行显著标识，深度合成服务提供者仅需对特定几类可能导致公众混淆或者误认的信息内容进行显著标识。然而，《办法》的行文表述依然缺乏足够的确定性：一方面，生成式人工智能服务提供者是否仅需对生成的图片等内容进行标识，即使相应的内容属于“智能对话、智能写作等模拟自然人进行文本的生成或者编辑服务”等可能致使公众混淆或误认的内容，也仅需履行一般性的标识义务，而无需履行特殊的显著标识义务。另一方面，如前所述，《深度合成管理规定》侧重于互联网信息服务规制，但《办法》的适用范围似乎并不限于互联网信息服务领域，《办法》是否要求互联网信息服务领域以外的生成式人工智能服务提供者均需履行标识义务？

与上述问题类似，《办法》仅使用“按照”一词衔接其他规范时，并未明确相应的适用条件。事实上，我们理解并非所有算法推荐服务提供者和深度合成服务提供者均需履行国家网信部门规定的安全评估、算法备案及内容显著标识义务。此外，如前所述，提供者提供的生成式人工智能服务，并非全部属于互联网信息服务；在互联网信息服务领域外的生成式人工智能服务提供者，履行互联网信息内容管理要求的必要性可能也需进一步明确。再者，如果提供者并不涉及提供互联网信息服务，其是否还需依据《网安法》履行要求用户提供真实身份信息等互联网信息服务义务？

总而言之，在算法应用治理领域，《办法》意图实现各类治理规范的有机联动。但是，如何使《办法》与《算法推荐管理规定》《深度合成管理规定》乃至《网安法》实现有序衔接，提供生成式人工智能服务的企业如何实际履行算法备案、内容标识等义务，义务的履行的边界又在何处，尚待《办法》作出明确的界定。

2.比较法观察：从欧盟《人工智能法案》与美国《人工智能问责政策》看“中国方案”

（1）欧盟人工智能治理的路径选择：基于风险的规制

2018年4月发布《欧洲人工智能战略》、2020年2月发布《人工智能白皮书》、再到2021年4月发布《人工智能法案》（“Artificial Intelligence Act”）提案、数次对《人工智能法案》文本进行修订并于2022年12月发布《人工智能法案》最新版本，欧盟始终积极探索人工智能治理。在人工智能治理领域，欧盟关注人工智能对基本权利的影响，并意图打造一个可信的人工智能生态系统。

1）人工智能治理框架：通用立法与行业规制

欧盟《人工智能法案》采取统一通用立法模式，虽然内容上，《人工智能法案》排除了部分人工智能系统应用场景的规制，例如原则上远程生物识别系统应当被划入高风险系统当中，但出于执法目的的某些例外情况可在经授权后使用，但整体上，欧盟希望《人工智能法案》具有欧盟人工智能治理领域基本法的地位，并希望通过其域外效力，影响全球的人工智能治理进程。

欧盟在《人工智能法案》中以横向监管框架为基础，以风险为路径，基于人工智能系统预期使用的用途、场景等，将人工智能系统划分为不可接受的风险、高风险、有限的风险以及最小风险，并主要规制高风险人工智能技术提供者的行为，要求存在高风险的人工智能技术在投放市场前，甚至在整个生命周期中均需履行提供高质量数据集，建立完备的风险评估系统，向用户提供清晰、充分的信息等义务，并接受审查。

值得一提的是，最新版本的《人工智能法案》已经将通用型人工智能系统（General purpose AI system）纳入规制范围，并明确，通用型人工智能既可能单独作为高风险人工智能系统，也可能仅是某高风险人工智能系统的组件；如果某通用型人工智能系统提供者确信自己的系统不会用于《人工智能法案》规定的高风险场景，则其无需承担相应的高风险规制义务。这种以风险为路径的分级监管方式也能给我国人工智能治理提供一些启发：是否有必要区分生成式人工智能服务的应用场景，对其进行分类分级，从而进行更针对性的监管？《算法推荐管理规定》已经提出了类似的分级分类监管思路。

人工智能领域的通用立法一直饱受争议，原因在于各个行业应用人工智能的风险差异较大，在没有广泛调研和对人工智能技术在各行业差异进行深入了解之前，尝试用普遍规则来规制多行业人工智能应用有可能掣肘某些特殊行业人工智能的发展。因此有不少国家也会考虑以特殊行业规制出发，以实际效果来摸索人工智能治理的普遍规则。自2021年底，我国陆续深入算法推荐、深度合成领域推出针对性立法，此种立法方式更倾向于行业规制。在作为顶层设计的综合性人工智能立法尚未出台的背景下，结合算法及人工智能场景应用的具体场景和目的，深入各领域立法，适时制定某一特定算法应用或服务的规定，有利于我国监管部门迅速回应算法及人工智能在特定领域引发的社会问题。与算法推荐服务、深度合成服务相比，生成式人工智能服务的适用的确具有更广泛的空间，因为生成式人工智能服务可用于互联网信息服务、精准医疗、无人驾驶等各行各业，但这不影响《办法》本身更可能被认定为行业规制的延续。

行业规制虽然能深入各具体场景规制算法与人工智能服务的使用，但类似于《人工智能法案》的综合性立法仍是未来人工智能治理领域不可或缺的内容。据我们了解，多个部委近几年已经开始研讨“可行人工智能的立法规制建设”，我们期待通过专门的中央立法强有力地指导各地、各领域的人工智能发展，并在新形式或新技术出现时提供一般性监管要求。

值得一提的是，立法与监管部门也在尝试关联目前现有的算法与生成式人工智能治理的监管措施，形成统一的监管态势。具体而言，互联网信息服务算法备案系统在此前已经串联了算法推荐服务提供者、深度合成服务提供者和深度合成技术支持者的备案工作，虽然生成式人工智能服务提供者的算法备案义务尚需进一步讨论，但这种衔接的尝试有利于我国形成体系化的监管路径。

2）人工智能治理措施：风险预防

以风险为路径，欧盟《人工智能法案》为高风险人工智能系统提供者施加了诸如符合性评估（Conformity Assessment）、数据治理（Data and Data Governance）等义务。虽然欧盟与我国在人工智能服务领域采取的立法方式与监管思路有所区别，但就监管手段而言存在一定共识，通过这些共识，可以窥见部分全球人工智能治理的方式及路径，有所裨益。

安全评估并非算法与人工智能服务领域独有的监管手段，其旨在评估相关企业等主体的活动是否存在风险、风险程度如何等，从而决定是否允许被评估对象是否能面向公众或社会等开展服务。训练数据集管理的要求更具独特性，算法的研发、优化依托大规模的数据；经过一次又一次的数据喂养和系统运行，算法得以实现研发设计者意图实现的目标。因此，训练数据集的管理在人工智能领域具有极其重要的地位；高质量的训练数据有利于减少算法歧视等问题的发生。《办法》第七条[3]相较于此前《深度合成管理规定》中简单提及的“加强训练数据管理”，更为具体地提出了对训练数据集的要求，与《人工智能法案》在前言及正文第10条反复提及的训练数据集管理要求具有相当的一致性。

首先，《办法》与《人工智能法案》以不同形式对数据来源的合法性提出了要求。《办法》强调了个人信息合法性基础和尊重知识产权的重要性，而《人工智能法案》侧重于对个人信息合法性基础的说明，除《人工智能法案》明确规定的以外，该法不得作为企业利用人工智能系统处理个人信息的合法性基础。就个人信息的收集使用的描述而言，可见区别。就《人工智能法案》而言，《人工智能法案》第53、54条规定主管部门应建立人工智能监管沙盒（AI Regulatory Sandbox），以在相应的人工智能系统投放市场前对其遵守《人工智能法案》的情况进行验证；同时，《人工智能法案》允许提供者在监管沙盒里处理基于其他目的合法获取的个人信息，也即，提供者无需就此再次获取信息主体的同意。

相较之下，由于我国《个人信息保护法》（“《个信法》”）第十三条明确规定了个人信息处理者处理个人信息的合法性依据，仅在第七款中说明“法律、行政法规规定的其他情形”。而因为我国《办法》将作为部门规章，无法突破《个信法》作为上位法的规定，《办法》本身无法为个人信息处理的合法性基础设置例外条款，因此仅是提示性地说明，生成式人工智能服务提供者使用的训练数据如果包含个人信息，应当征得个人信息主体的同意或符合法律、行政法规规定的其他情形。

由于我国在人工智能科学研究发展中并未设置对个人信息处理的例外条款，可以预见的是，其将为我国人工智能的研究与发展增加较高的成本。比如实践中，企业可能选择爬取网络公开数据以进行自我算法训练、优化，其中不可避免地涉及个人在网络上自行公开的个人信息。尽管有观点认为，生成式人工智能服务提供者此时可依据《个信法》第十三条第2款第第6项“在合理的范围内处理个人自行公开或者其他已经合法公开的个人信息”从而利用相关个人信息进行算法训练、优化等。但问题在于，如何理解“合理的范围”尚没有明确的指引，生成式人工智能服务提供者基于自身商业考虑而处理个人公开的个人信息是否属于“合理的范围”，将有待立法、司法实践的进一步厘清。值得注意的是，上述监管思路的差异不仅将影响我国人工智能研究速度，还将引发对于公共平台个人信息资源的争夺。在个人信息权益尚未有定论的当下，对于数据资源的无效争夺无疑将是科技发展中的“内耗”。我们期待立法、司法实践能在人工智能服务提供者确保个人信息主体利益的前提下，认清当下中国科技发展的掣肘，尽可能平衡科技发展与个人权益保护的关系。

其次，《办法》与《人工智能法案》对数据的质量要求有细节上的差异。

《人工智能法案》

训练、验证和测试数据集应遵守适当的数据治理和管理规范。其中还应特别关注数据采集，相关的数据准备处理工作如标记。……训练、验证和测试的数据集应当是具有关联性、有代表性的、没有错误且完整的。……训练、验证和测试的数据集应特别考虑与使用高风险人工智能系统的人员或人群有关的属性。

《办法》

能够保证数据的真实性、准确性、客观性、多样性。

如前所述，《人工智能法案》以风险分类为治理路径，将不同场景下的人工智能系统归类于不同的风险等级；由于人工智能系统的风险等级与提供者的预期用途、目的、场景等密切相关，因此在训练数据集质量管理方面，《人工智能法案》除了一般性的完整性等要求，还主张相应的提供者在训练、验证人工智能系统时应当使用具有关联性的数据，特别考虑与使用高风险系统相关的人员属性等。与《人工智能法案》相比，《办法》注重训练数据的多样性，这可能源于《办法》与《人工智能法案》规制路径的区别，后者区分场景和用途划分人工智能系统的风险等级，强调数据与场景的关联性；前者则未区分生成式人工智能服务应用的具体场景，而是统一规制，强调数据的多样性。但问题在于，企业应当如何理解训练数据的多样性？其含义是否为生成式人工智能服务提供企业应当获取不同数据来源、不同领域、不同行业、不同年龄、不同性别的数据或个人信息？此外，训练数据集的客观性如何保证可能也有待商榷。如果是人类的感受、感悟、情绪等数据，客观性的要求应当如何衔接？企业如需实践落地训练数据管理要求，可能有待立法部门进一步阐述与说明。

3）人工智能治理原则：公开透明

算法透明是世界各国公认的算法治理原则，包含从告知义务、向监管报备、向社会公开信息等多种形式。保障用户知情权是欧盟《人工智能法案》的一大特色，有助于用户了解与其进行交互或为其服务的人工智能系统的相关信息，实现算法向用户侧的透明。欧盟为了确保高风险人工智能系统的操作足够透明，从而确保用户能够理解系统并更好地使用。《人工智能法案》第13条规定“透明度和向用户提供信息”，要求高风险人工智能系统提供者以适当的方式在系统中附有可供用户了解的信息，包括提供者的身份和联系方式，高风险人工智能系统的性能特征、功能和局限性例如预期目的、可能对个人健康和安全或其他基本权利产生的风险、人为监督措施等。

此外，《人工智能法案》还要求高风险人工智能系统提供者、授权代表等在欧盟建立的数据库中进行登记，登记的信息除提供者的基本信息外，还应包括高风险人工智能系统的预期目的描述等，所有公众均可访问数据库中的信息。

相较而言，就向公众履行透明度义务维度，《办法》仅在第十条[4]规定“提供者应当明确并公开其服务的适用人群、场合、用途”。用户可能无法仅凭上述信息对与其交互的人工智能服务产生清晰明了的认知，也无法了解对其可能产生的影响。值得一提的是，《算法推荐管理规定》较为详尽地规定了向公众履行透明度义务的要求。其明确算法推荐服务提供者应当向公众告知其算法推荐服务的基本原理、目的意图和主要运行机制等。基于此，《办法》可能需进一步明确，是否应增强生成式人工智能服务向公众履行透明度义务，以强化可问责性。对于《办法》向监管履行透明度义务的规定，本文将在第三部分“《办法》的延伸思考与立法展望”展开论述。

（2）美国人工智能治理的路径选择：问责明确的可信人工智能路径

“推进值得信赖的人工智能”是美国联邦政府的重要目标之一，为推进这一目标，美国白宫制定了《AI权利法案蓝图》，以期为“构建和部署符合民主价值观、保护公民权利、公民自由和隐私的自动化系统”提供指导。为了充分实现这样的蓝图，美国计划建立健全与可信人工智能相关的政策，尤其是人工智能问责政策。

基于此，2023年4月，美国商务部下属国家电信与信息管理局（NTIA）特就人工智能问责政策征求意见（AI Accountability Policy Request for Comment），并希望能获得公众就建立人工智能问责制的现状与障碍的态度与建议[5]。

从《人工智能问责政策征求意见》可看出，美国在制定政策时，重点关注以下几方面的问题：首先，如何看待问责目标。如同欧盟、我国要求人工智能服务/系统提供者进行评估，美国也在关注，主体开展评估（包括外部评估、内部评估）和审计的目标是什么，彼此有何交互联系。其次，问责的对象如何确定。人工智能供应链非常复杂，开源软件与下游的App、客户端等应用程序可能存在很大不同，下游产品对人工智能的使用可能远超于人工智能系统开发人员最初的设想，此时应如何平衡与区分各方主体的责任？再者，就具体的责任承担而言，应当要求人工智能系统的开发人员和部署人员在多大程度上、多长时间内保留何种类型的系统文档材料，以实现问责判断。

这一思路其实与欧盟《人工智能法案》中的技术文档规定类似，其核心均在于要求相关主体保留一定的系统记录，以在问责时提供证据。而这种证据既可能证明人工智能系统提供者全面地履行人工智能相关的法律法规，也可能为受到损害的用户提供支持。我国《个信法》有类似的记录要求，其第五十五条要求个人信息处理者在处理敏感个人信息、自动化决策等场景时对处理情况进行记录，记录应至少保存三年。反观《办法》，其并未要求生成式人工智能服务提供者对相关活动情况进行记录。虽然实践中，企业基于自证合规的目标或需求，可能实际上会留存相关的生成式人工智能系统的活动记录，但为了更好地明确相关留存要求如文件类型等，立法对此进行明确仍是值得借鉴的做法。

总的来说，虽然中美欧所处的人工智能技术发展的环境有所不同，但在“技术-社会-法律”的体系下，各国均已开始尝试法律规制人工智能的手段。除了法律，各国还可加强科技伦理方面的合作，达成国际层面的共识。我国也需要加强国际合作，积极输出理念和价值观，共同参与人工智能治理的进程。

03、《办法》的延伸思考与立法展望

1.适用范围与域外效力

根据《办法》第二条规定，《办法》适用于“面向中华人民共和国境内公众提供服务”。相较于《深度合成规定》等法律法规之“境内应用”“境内运营”的立法语言，《办法》的域外效力相当明确，我们可以结合《个信法》关于“以向境内自然人提供产品或者服务为目的”的域外适用情形加以解读，即无论利用生成式人工智能产品提供服务的组织或个人是否在境内设立实体/位于境内，均可能受到《办法》的管辖。然而，具体在何种情形下将触发《办法》的适用可能需在理解以下两个概念的前提下得以明确。

其一，对于“面向”的界定。尽管服务的商业模式设计是否以境内公众为目标受众，包括在提供服务过程中是否使用中文，是否对于中国用户提供定制化版本等均可能构成一部分判断因素。然而，更应考虑到目前ChatGPT、Midjourney等境外产品和服务在境内广泛使用的热潮，是亟需规制生成式人工智能服务的直接动因，界定标准宜关注是否对境内用户产生实质影响，故不排除只要允许境内公众使用该等服务即可能受到《办法》的规制。

其二，“境内公众”的含义。一方面，在以《网安法》为上位法的基础之上，《办法》特别规定提供者应当履行《网安法》相关规定，包括要求用户提供真实身份信息，而这一义务在《网安法》中归属于提供信息发布、即时通讯等互联网信息服务的网络运营者。另一方面，如前所述，《办法》衔接现行算法治理规范框架，其对于责任主体的具体义务设置与《深度合成管理规定》《算法推荐管理规定》具备相当程度的相似性，包括安全评估申报义务、算法备案义务和标注义务等，而前述两规定明确将规制对象限于“提供互联网信息服务”。

将“境内公众”的含义置于前述语境加以理解，可以合理推断《办法》可能倾向于对利用生成式人工智能提供互联网信息服务的行为加以调整，“境内公众”更多指境内不特定的公众，而仅向特定企业提供服务的行为可能并不必然构成“面向中华人民共和国境内公众提供服务”。

2.责任主体及其义务边界

如果前述针对企业端服务可能并不必然构成“面向中华人民共和国境内公众提供服务”，从而可能并未落入《办法》的适用范围为前提，利用第三方提供的产品继而向公众提供服务的主体方为《办法》项下义务的责任主体，例如那些调用OpenAI提供的应用程序编程接口（API），将ChatGPT 集成至其应用程序和服务的企业。就此而言，《办法》可能选取了规制服务提供者而非技术提供者的路径。

然而，如此推导出的结论可能与《办法》的其他规定产生矛盾。首先，《办法》第五条明确规定，“提供者”，包括通过提供可编程接口等方式支持他人自行生成文本、图像声音等。再者，以第四条规定作为切入点，由于提供者的定义置于第五条，第四条规定显得意味深长，因为条款顺序安排使得其并非当然隶属于“提供者”的义务。尤值得注意的是，第四条第（二）款直接要求算法设计、训练数据选择、模型生成和优化等技术研发优化过程中应采取措施防止歧视（在技术与服务提供者相分离的情况下，这在仅提供服务的主体力所不逮之处，仅能由技术提供者履行），且算法设计、训练数据选择等与“提供服务”属于该项规定中的并列成分。如此便得出相反的推论，即《办法》似乎隐含近似于《深度合成管理规定》之服务提供者和技术支持者的责任分配，有意对技术和服务提供者的义务进行分别规定。但这种理解可能也有失偏颇，因为如我们在“生成式人工智能服务提供者义务范围边界之探寻”一节所述，《办法》第六条要求提供者履行安全评估义务和算法备案义务，但这些义务均以提供互联网信息服务的主体为规制对象。

事实上，对于责任主体及其义务边界的划分反映的是对生成式人工智能服务进行规制的逻辑起点。如欧盟《人工智能法案》为确保公平竞争环境，明确定义人工智能价值链上的关键参与者，如人工智能系统的提供者和使用者等，以确保公平的竞争环境，这亦是其“技术中立”和“面向未来”的基本立场的体现[6]。

具体而言，如不分畛域地仅以服务提供者作为单一责任主体，尽管符合技术中立原则，对于技术开发积极性可能颇有助益，但由于防范歧视、训练数据集来源合法性等义务的履行需从算法、模型的训练阶段进行源头控制，实践中企业可能倾向于利用自身的商业谈判地位，将合规义务以合同安排的形式转嫁到较为弱势的技术研发者。而若壁垒分明地对服务提供者和技术提供者作义务安排，前提可能需是对现有技术和未来发展趋势建立足够深入的理解，技术应用亦具备成熟稳定的实践。换言之，在人工智能“奇点”时刻试图以法律规定拉齐技术观念的水位，恐怕也应再三考量实践性。

因此，责任主体及其义务边界的规制路径选择实则是知易行难的立法技术问题，还有待进一步的探讨与释明。

3.规制方案：程序性规制方案与回溯性规制方案的互动

主流的算法规制方案大致可分为事前的程序性规制方案和事后的回溯性规制方案两种机制，前者旨在预防算法侵害，后者则是回应性的，在侵害产生后进行追责与救济。

程序性规制方案的本质是对于算法黑箱和缺乏透明度的特性致使传统规制方案失灵的自然回应。例如，若人工智能生成内容产生侵害结果，存在难以界定责任主体、故意与过失认定困难、因果关系界定冗长不清等问题，这便促使以“技术正当程序”理念介入的对算法的程序性规制方案日益受到关注，并在立法实践中被广泛采用以增强算法的可问责性。

基于前述分类，可以看到《办法》广泛纳入了程序性规制方案的制度工具。例如，第六条之安全评估和备案要求，第八条之人工标注规则规制及培训要求，以及第十七条之算法披露义务（算法透明度义务）等，其法理构造均为以技术正当程序理念介入的程序性规制方案。与之相对，在已生成不当内容的情况下，第十五条规定[7]的算法纠偏义务，即要求责任主体“防止不当内容再次生成”，即是采取强调结果正义的回溯性规制方案。鉴于此，我们理解作为回溯性规制方案的《办法》第十五条规定存在如下探讨空间：

（1）对《办法》程序性规制方案的补足

《办法》集安全评估、算法备案和算法披露（透明度义务）等算法程序性规制方案于一身，构建了较为完整的规制体系，旨在提升生成式人工智能服务的算法设计安全、提供者的算法风险管理能力等，实现算法审查和算法问责，促使提高算法的公平、透明和可问责性。然而，算法程序性规制方案亦存在其局限，由于属于风险预防性措施，为学者所诟病“不能确定地有效避免某个具体算法损害的发生，也无法对已然发生的算法侵害提供符合人类理性与正义要求的规范上可感的修复” 。[8]

这意味着，在生成式人工智能服务产生不当内容后，前述程序性规制方案可能难以提供有效且令人满意的解决途径，而第十五条规定则要求实质的“结果正义”，规定 “除采取内容过滤等措施外，应在3个月内通过模型优化训练等方式防止再次生成”，与前述程序性规制方案相辅相成。

（2）第十五条规定的局限

其一，在实践中，责任主体履行“防止不当内容再次生成”的义务可能存在较大障碍。尽管通过列举“内容过滤”为具体措施，以及设定3个月的期限，使算法纠偏义务的履行方式获得更多确定性。然而，一方面，由于生成式人工智能多采用基于神经网络算法的深度学习，即使技术研发者亦难以理解如人脑般复杂的多层神经网络结构的权值，对算法逻辑进行分解，或是直接从输出结果倒推应当调整哪一环节。另一方面，“防止不当内容再次生成”需要考虑用户使用行为的影响，例如倘若以对抗样本（adversarial examples）攻击使用深度学习的生成式人工智能服务，攻击者在如常使用服务的过程中，输入精心构造的信息并得到欺骗性结果，其对模型的扰动相当难以察觉。退一步而言，即使是普通用户，其提供的提示（prompt）也可能扰乱对模型的调整。

因此，如果说对于足够特定的不当内容，或可在模型输出层施加限制，以充分履行防止再次生成的义务。但对于涉及价值判断等复杂内容的防范，即使重新通过人工标注训练模型，可能也难以确保“防止再次生成”不当内容，至于是否能在3个月内完成，亦值得进一步考量。

其二，或需检视将第十五条与第十三条规定并置的合理性。

第十三条规定

提供者应当建立用户投诉接收处理机制，及时处置个人关于更正、删除、屏蔽其个人信息的请求；发现、知悉生成的文本、图片、声音、视频等侵害他人肖像权、名誉权、个人隐私、商业秘密，或者不符合本办法要求时，应当采取措施，停止生成，防止危害持续。

第十五条规定

对于运行中发现、用户举报的不符合本办法要求的生成内容，除采取内容过滤等措施外，应在3个月内通过模型优化训练等方式防止再次生成。

经比对可知，同样在发现不当内容的情况下，第十三条仅要求“应当采取措施，停止生成，防止危害持续”。这可能导致对于提供者的责任认定难题，即其算法纠偏义务止于采取措施，还是应当从结果上杜绝不当内容的再次生成。基于法的确定性要求以及为避免责任主体支出不必要的合规成本，同时考虑到前述第十五条规定对于程序性规制方案的补足意义，对于这一问题的回答即使不是非此即彼的，至少应当区分二者的适用情形。例如规定在特定情形下，提供者方负有防止再次生成不当内容的义务。

此外，在探讨算法纠偏义务的边界时，还应当综合考量界限设置可能隐含技术是否中立的价值预设，以及企业履行“防止再次生成”的义务可能存在障碍的情况。

4.算法如何透明：从“不可能完成的”解释到算法披露的合理边界

算法透明度是算法规制可欲的目标，也是算法程序性规制强有力的监管工具。就我国算法治理顶层设计而言，《新一代人工智能伦理规范》针对人工智能提出包括透明性、可解释性在内的多项伦理要求。2021年9月，中国国家互联网信息办公室等9个部门联合发布的《关于加强互联网信息服务算法综合治理的指导意见》提出“透明可释”的基本原则，并多处强调算法应用应当公开透明。就我国算法治理相关立法而言，如前所述，以算法备案为监管工具的《深度合成管理规定》《算法推荐管理规定》已身体力行地嵌入算法透明度要求。

我们需要承认，算法的绝对透明可能是一项违反商业伦理、同时技术上“不可能完成”的要求。一方面算法已经逐渐成为企业的核心竞争资产，公开披露其详尽的运作原理将极大打击企业的发展动力。另一方面，作为仿生模型的人工神经网络（Aritificial Neural Network，ANN）在人类尚未理解人类大脑运行机制的当下，其透明性要求可能是人类的“左右互搏”。但这并不妨碍监管敦促企业在保护商业秘密的前提下，基于公共利益完成必要的“透明可释”要求。尽管从技术上，在我们理解人类大脑机制之前，上述要求可能是徒劳的，但从社会监管机制角度，其仍然是重要的社会治理“抓手”。

算法透明的立法规制以算法披露制度为核心，其中囊括向监管和社会公众披露的双重维度。而《办法》构建的算法披露制度，在算法备案、算法评估等规定的基础上，其第十七条还要求提供者应当向监管部门履行额外的算法披露义务，“提供者应当根据国家网信部门和有关主管部门的要求，提供可以影响用户信任、选择的必要信息，包括预训练和优化训练数据的来源、规模、类型、质量等描述，人工标注规则，人工标注数据的规模和类型，基础算法和技术体系等。”对此我们理解，基于算法透明度要求与知识产权、商业秘密保护之间的张力等考量，有必要进一步探讨此处额外披露义务的程度，包括适用范围和“必要信息”的范围。

（1）第十七条之额外披露义务的适用主体与适用情形

在对第十七条之额外披露义务的适用主体进行讨论之前，有必要深入理解《办法》构建的算法披露制度。从《办法》第六条规定“按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续”义务来看，即使对是否所有提供者均应履行算法备案义务的问题存而不论，亦应当考察算法备案制度的内在逻辑，从而确保对额外披露义务的理解与之具备逻辑一致性。

《算法推荐管理规定》的算法备案制度采取风险进路，对算法进行分级分类，将备案主体限定于“具有舆论属性或社会动员能力的算法推荐服务提供者”，其逻辑与我国《数据安全法》等数据分级分类的思路一致，即以数据/算法所引发的外部风险为判断基础。[9]

基于这一风险进路，如若在算法备案的基础上要求服务提供者提供额外的信息，则有必要对于额外披露义务的适用主体作进一步明确，例如是否涉及引发更高外部风险的生成式人工智能服务提供者，方构成这一义务的适用主体。抑或是否在特定情形下方触发该等义务。

（2）“必要信息”的范围

首先，在披露范围方面，《算法推荐管理规定》逐一列举服务提供者的名称、服务形式、应用领域、算法类型、算法自评估报告、拟公示内容等信息作为登记事项，审慎地包含算法应用是否与目的相称及其可能引致的公共利益、公民权利风险的评估信息，但将算法数据组、算法模型性能、算法设置逻辑等涉及商业秘密、专利权的内容排除在外，从而平衡政府监管与行业自律、信息披露与商业秘密、源头治理与事后追责的多重诉求。[10]

遵循这一平衡多方诉求的审慎态度，《办法》亦应当考虑进一步明确“必要信息”的范围，包括对“基础算法和技术体系”做出必要的解释，抑或以反向列举的方式排除“非必要信息”。

仅从文本上理解，第十七条目前采取的表述不排除披露范围可能包含源代码、训练数据集等。然而，一方面，对于使用深度学习技术的生成式人工智能的不透明性大多源于目前的认知能力难以破解机器学习的深层逻辑，即“机器学习高维特征的数学优选方法和人类尺度的推理（human scale reasoning）及语义学解释风格之间的不相匹配”。[11]即使无限制地披露信息，可能对于有效提高算法透明度都无异于缘木求鱼，反而可能导致对商业秘密、知识产权保护的失衡。事实上，算法的透明通向可理解性（intelligibility）的必要条件，从而实现算法问责，其自身仅是手段而非最终目的。

另一方面，在世界范围内，以监管为披露对象的算法披露制度设计尽管存在披露程度差异，但鲜有强制要求披露训练数据集和源代码的立法实践。同样以欧盟的《人工智能法案》为例，尽管2021年发布的草案第64条规定，对于高风险人工智能，监管机构有权访问算法系统数据（包括训练集、验证集和测试集）、源代码，并可以通过技术手段对算法进行分析测试，从而实现算法审查和算法问责，但2022年12月发布的最新版本已删除该规定，仅保留监管访问第11条所规定的技术文档和第12条的日志记录的权力。

结语

总体而言，尽管生成式人工智能的技术壁垒之高、影响之复杂性对立法技术带来艰巨挑战，但立法不可裹足不前。“申言之，再复杂、高深的技术程序也不允许从法治国家的规范中逃逸，否则就会形成法治国家的‘虫洞’，最终造成依法治国只剩下一个‘合法性的空壳’。”[12]

同时，我们应当清醒地认识到，依法治国仍然需要为“统筹中华民族伟大复兴战略全局和世界百年未有之大变局”所服务。人工智能的监管需要认清当前我国人工智能科技研发领域的现实差距，控制风险但不能“因噎废食”。如何合理地利用 “技术与服务主体区分”“主体责任边界”等立法技术以及“技术中立性保护”“前沿技术在社会应用中的避风港”等社会治理智慧，在人工智能技术尚未展现全貌前，将极大影响我国未来在全球智能化社会中地位。

最后，也有观点认为，随着ChatGPT的出现，高度危险的强人工智能已经初现端倪。人类作为一个生物族群的主体性将伴随强人工智能普及而逐渐丧失，科幻小说家刘慈欣也怀疑“人工智能社会或许前景暗黑暗[13]”，甚至我们正在见证新型主体性的诞生，即 “一种特定类型的人工智能，能够基于海量数字化数据的处理而感知环境并据此行动”[14]。尽管ChatGPT安慰我们“人工智能是一种有限制的技术，不可能消灭人类文明。人类仍然是人工智能的主宰和控制者，人工智能只是人类的工具和辅助”，人类自我觉醒的文明时代仿佛将走向幽暗。

但即使眼前幽暗丛生，我们也“不要温和地走入那良夜”（Do not go gentle into that good night）。我们不需要在前路未明时固步自封地监管，延缓甚至阻碍人工智能技术的发展，也不能听之任之，毫无戒备地投入到智能化的新历史阶段。我们应当坚持“发展才是硬道理”的原则，以最大的热情鼓励和促进技术的发展，同时以最审慎的心态、最大的关注力观察人工智能的发展动向，秉承技术中立的价值，审慎包容但坚守底线。我们坚信，人类的文明之火不仅终将伴我们走出良夜，还会在人工智能的加持下，更加璀璨。 

来源：金杜研究院

 免责声明 

本文仅代表原作者观点，不代表走出去智库立场。

向下滑动阅览

脚注：

[1] 我们将在下文进一步阐述，由于第四条并不必然隶属于“提供者”的义务范畴，尚待立法者进一步明确，故我们将其单独列为“内容生产者责任”。

[2] “算法检查”即指《算法推荐管理规定》第二十八条、《深度合成管理规定》第二十一条所规定的，网信部门和电信主管部门、公安部门依据职责对算法推荐服务和深度合成服务开展监督检查，算法推荐服务提供者、深度合成服务提供者与技术支持者应当予以配合，并提供必要的技术、数据等支持和协助。

[3] 《办法》第七条规定，提供者应当对生成式人工智能产品的预训练数据、优化训练数据来源的合法性负责。用于生成式人工智能产品的预训练、优化训练数据，应满足以下要求：（一）符合《中华人民共和国网络安全法》等法律法规的要求；（二）不含有侵犯知识产权的内容；（三）数据包含个人信息的，应当征得个人信息主体同意或者符合法律、行政法规规定的其他情形；（四）能够保证数据的真实性、准确性、客观性、多样性；（五）国家网信部门关于生成式人工智能服务的其他监管要求。

[4] 《办法》第十条规定，提供者应当明确并公开其服务的适用人群、场合、用途，采取适当措施防范用户过分依赖或沉迷生成内容。

[5] AI Accountability Policy Request for Comment, https://www.federalregister.gov/documents/2023/04/13/2023-07776/ai-accountability-policy-request-for-comment, accessed on April 14, 2023.

[6] Article 5.2.1 of Explanatory Memorandum, Proposal for a Regulation of the European Parliament and of the Council laying down harmonized rules on artificial intelligence (Artificial Intelligence Act) and amending certain Union legislative Acts, European Commission.

[7] 《办法》第十五条规定，对于运行中发现、用户举报的不符合本办法要求的生成内容，除采取内容过滤等措施外，应在3个月内通过模型优化训练等方式防止再次生成。

[8] 王莹：《算法侵害责任框架刍议》，载《中国法学》2022年第3期。

[9] 许可：《算法规制体系的中国建构与理论反思》，载于《法律科学》2022年第1期。

[10] 同上。

[11] 刘东亮：《技术性正当程序：人工智能时代程序法和算法的双重变奏》，载《比较法研究》2020年第5期。

[12] 刘泽刚：《论算法认知偏差对人工智能法律规制的负面影响及其矫正》，载《政治与法律》2022年第11期。

[13]  http://www.rmzxb.com.cn/c/2017-06-13/1589428.shtml.

[14] Hildebrandt, M(2016). Law as Information in the Era of Data-Driven Agency. The Modern Law Review, 79(1),1-30.