环球问策| 拧紧AI生成内容“安全阀” 今日起新规落地实施

*【环球网科技报道 记者 郑湘琪】*几只活泼灵动的兔子在蹦床上跳跃，相关视频迅速在各大平台传播，收获上亿次播放。直到有人发现，视频中的可爱场景实为虚假——兔子是由AI生成的，这不禁引发了人们对于AI生成内容真假难辨的担忧。

如今人工智能生成内容在展现技术魅力的同时，也带来了前所未有的风险。从AI生成谣言、AI伪造名人带货到AI换脸拟声诈骗，利用AI合成视频并通过社交媒体广泛传播的欺诈行为频发，严重威胁用户财产安全。AI语音公司Resemble AI 发布的报告显示，仅2025年第一季度，全球由深度伪造欺诈造成的财务损失就超过2亿美元。

在社会对AI生成内容规范治理呼声不断高涨的背景下，9月1日起，国家网信办等四部门联合发布的《人工智能生成合成内容标识办法》（以下简称《标识办法》）正式施行，《标识办法》明确所有AI生成的文字、图片、视频等内容都要“亮明身份”。

知名经济学者、工信部信息通信经济专家委员会委员盘和林告诉记者，“《标识办法》的施行恰逢其时，对AI生成内容的规范具有很好的促进作用。同时，其也为正常的AI内容合成开辟了合规通道。”

AI“幻觉”：繁荣背后的治理考题

随着AI技术大幅降低内容生成门槛，网络信息量激增。然而，诸多AI产品存在的“幻觉”缺陷也催生了大量虚假内容，导致网络环境泥沙俱下。

那么AI大模型为何会“一本正经胡说八道”？合合信息图像算法研发总监郭丰俊解释称，当前主流大模型的本质上是基于海量数据训练的概率生成模型，其输出的是通过学习到的统计规律进行文本组合与推测，而非真正的“理解”或“推理”。同时，训练数据质量问题、算法架构局限性和训练目标与人类偏好对齐不足，共同导致了AI会产生看似合理但完全错误的信息。

面对AI生成的虚假内容，防御体系正在从多个维度加速构建。从顶层设计来看，江西财经大学法学院民商法系主任刘先良谈到，“《标识办法》出台之前主要有《网络安全法》《数据安全法》《个人信息保护法》《民法典》等法律规范。此前法规并未明确AI生成的强制标识义务，导致信息溯源困难。而《标识办法》的出台，平衡了技术创新与隐私风险，强化了内容提供者和平台的法律责任。”

与此同时，AI鉴伪技术正在构建起AI内容治理的技术防线。郭丰俊透露，当前主流AI鉴伪技术路线主要有跨模态一致性检测、生成端标记与取证端鉴别。尽管技术路线多样，但鉴伪仍面临诸多挑战，以视频为例，视频常经历帧率变换、压缩、剪辑与拼接等处理，这些操作会破坏原始一致性特征，干扰检测效果。加之长视频的实时检测对计算效率要求极高，目前线上实时推断仍存在难度。

各大社交平台也相继发布相关内容规范，系统化治理网络不实信息。在盘和林看来，“现阶段社交平台在AI生成内容治理方面既有成绩，也有欠缺。成绩在于，平台会对AI生成内容主动进行人工审核，并通过合规办法严格把关。欠缺在于，平台对于AI生成内容的标识要求还没有形成体系，还没有传达到具体的发布者，另外平台对AI生成内容的合规性审核，也存在一刀切的问题。结果就是，声明是AI生成内容的反而受到限制，那些掩盖生成的内容，反而很难捕捉。”这一现状凸显了新规实施的紧迫性与必要性。

“显隐双标”：为AI内容装上“警示灯”

鉴于AI生成内容带来的识别难题和监管挑战，《标识办法》明确，人工智能生成合成内容是指利用人工智能技术生成、合成的文本、图片、音频、视频、虚拟场景等信息。平台在服务提供者的内容上架或上线时要进行审核，核验生成合成内容标识，对未标识或疑似生成内容要添加风险提示，从而在传播端阻断虚假信息扩散。

“《标识办法》的施行是互联网生态治理的一环，通过合成内容标识，包括显性和隐性标识，将AI生成内容从海量内容中区分出来，形成单独的、个性化的监管体系，防止AI生成内容对用户和舆论造成误导。”盘和林说。

根据《标识办法》，人工智能生成合成内容标识包括显式标识和隐式标识两种形式。显式标识是指在生成合成内容或者交互场景界面中添加的，以文字、声音、图形等方式呈现并可以被用户明显感知到的标识；隐式标识是指采取技术措施在生成合成内容文件数据中添加的，不易被用户明显感知到的标识。

郭丰俊认为，《标识办法》创新性地引入“显式+隐式”标识体系，为AI治理提供了一条可落地、可追溯、可持续的技术路径。显式标识让用户一眼就能辨别内容是否由AI生成，隐式标识虽不易被用户明显感知到，但能采取技术手段实现内容溯源，为事后监管提供了技术依据。这种“事前提醒—事中监控—事后溯源”的全链条治理模式，补齐了过去 AI 内容“生成易、识别难、追责更难”的短板。

随着《标识办法》的施行，平台将会如何调整其相关的运营策略？刘先良表示，“由于《标识办法》对AI生成内容有明确标识义务设定，在此背景下平台治理逻辑会出现相应变化。如平台可能会采取全流程审核机制，即‘事前审核+事中监测+事后处置’的全流程机制。同时可能会引入AI生成内容检测技术，技术合规成为了必需品，相应会调整用户协议。”

未来已来：多维治理构建可信AI生态

展望未来，刘先良告诉记者，AI生成内容的治理方向将来可能会融合“技术+法律+伦理”的三维治理路径。技术方面可能出台技术标准，立法方面继续完善相关立法，伦理方面出台行业自律约定。

不过，盘和林也强调，“可以预见，AI生成内容的真实性还会越来越高，这样依靠标识很难鉴别真伪，所以还需要补充以AI鉴别的方式，对AI生成内容进行识别。也就是说，制度只是AI治理的一方面，技术是AI治理另一个关键点。”这意味着标识制度需要与技术检测手段相结合，形成协同效应。

令人欣慰的是，随着AI鉴伪技术的不断成熟，其在技术深度及广度以及生态协同上将迎来突破性进展。郭丰俊谈到，在技术层面，跨模态一致性校验将成为重点。未来AI鉴伪技术将融合文本、人像、场景、音频等多维度信息，实现跨模态一致性校验。例如，结合微表情、眼球运动等生理特征与语音、图像内容的对齐分析，实现毫秒级识别伪造痕迹。企业将更关注技术在AIGC虚假信息“主动防御”“主动检测”中的应用，引入AI 欺诈检测与鉴伪技术，精准识别伪造内容，实时监测并应对 AIGC 欺诈行为，以技术防御和人工干预相结合的方式，筑牢安全防线。

值得一提的是，《标识办法》实施后，用户权益保障也将进一步加强。刘先良提醒网友，如果遭遇侵权，可以依据现有《民法典》侵权责任编，《产品质量法》《消费者权益保护法》《电子商务法》等法律规范维权。如遭遇AI换脸可能涉嫌肖像权，隐私权被侵犯，可以第一时间拍照录屏取证，依据《民法典》通知删除规则向平台或者视频发布者发布侵权通知，要求其采取必要措施。如果买到AI伪造名人带货的产品，一方面可以根据传统产品质量法律向生产者、销售者主张产品责任，另外一方面可以根据《电子商务法》向平台经营者主张相应责任，现在还可以根据《标识办法》向AI内容生成者主张相应责任。

技术与法规的协同共治已然启程。在AI生成内容与鉴伪技术的不断迭代中，一个更加清朗、可信、安全的互联网空间正在逐渐成型。随着多维治理体系的不断完善，AI的创造力也将真正成为推动社会进步的澎湃动力，而非隐匿于迷雾中的风险暗流。这场人机共生之旅，终将在理性与敬畏中，驶向繁荣与秩序并存的未来。