人工智能“干”造假：造假算法丰富，伪造图像逼真_风闻

人工智能没有光做好事，新技术也常常捣乱。

“深度伪造”是指利用深度学习算法实现音频和视频的模拟和伪造，包括语音模拟、换脸、表情操纵等。

2019年国内红极一时的换脸软件“ZAO”就是公众最为熟知的应用，用户只需上传一张照片，就能秒变“戏精”，甚至还能与偶像同台飙戏，效果极其逼真。

不久前，短视频领域出现的“蚂蚁呀嘿”热潮，其基础也是深度伪造技术。

针对这一威胁与挑战，7月9日，北京瑞莱智慧科技有限公司发布了DeepReal深度伪造内容检测平台（基于第三代人工智能），具备工业级检测性能，能够快速、精准地对多种格式与质量的图像进行真伪鉴别，为遏制和防范深度伪造技术的大规模滥用提供有效技术支撑。随着人工智能的广泛应用，整个产业面临的三大困境逐渐浮现，RealAI致力于解决这些困境。

第一是算法可靠问题。

深度学习算法为黑盒，缺乏可理解的决策逻辑和依据，无法量化不同决策的可靠程度，导致难以应用至金融、医疗等高可靠性要求场景。

同时，基于对抗样本攻击技术可以破解安防监控、手机刷脸解锁、人脸识别闸机等识别系统，实现身份伪装或隐身逃逸，为个人财产安全与社会公共安全带来全新挑战。

第二是数据安全问题。

提升AI能力需要挖掘数据价值，但在特定AI应用场景中，所需要用到的数据往往涉及个人隐私信息，简单明文数据传输和利用很可能导致隐私泄露。

而有价值的数据分散形成数据孤岛，在打破数据孤岛的过程中，数据用途和用量难以控制，存在被滥用和复制的可能，同时数据权属不明确，数据收益不清晰。

第三是应用可控问题。

AI算法偏差导致不公平性问题，比如人脸识别算法存在种族歧视与性别歧视，AI信贷模型对特定地域人群的歧视等，缺乏有效衡量算法公平性的方法和工具；同时，AI技术的滥用引发道德伦理问题，比如深度伪造技术的滥用带来的个人和社会风险问题。

清华大学人工智能研究院的核心孵化企业北京瑞莱智慧科技有限公司副总裁唐家渝在演讲时谈道：我们来看两个深度伪造技术滥用的案例：一女网友请他下载某软件并提出视频邀请，他已怀疑对方是骗子，但出于好奇，还是接受了邀请。挂电话后不久，王某就收到了一段有自己头像的不雅视频。骗子用AI换脸技术把他的脸合成到他人的视频上，并以此威胁其转账。

更早之前，福克斯旗下的Q13电视台直播中，特朗普做出了一直吐舌头的动作，之后信号被掐断。电视台排查是编辑在直播中利用技术手段播放了伪造视频，最终涉事编辑被解雇。

自2019年以来，国外机构监测到的深度伪造视频数量呈指数级增长。

从前面两个简单的案例可以看出，深度伪造技术蕴含着巨大的潜在危害。

比如对于个人来说，合成伪造的色情视频，危害个人声誉；对于企业来说，合成伪造的欺诈音视频，将造成财产损失。2019年初，Facebook的CEO扎克伯格也遭遇被伪造，伪造者发布了宣扬侵犯个人隐私数据的不实言论，这些事件将Facebook、随后又将人工智能造假推向了社会舆论的风口浪尖。

其次，深度伪造也将对国家与公共安全威胁，对于国家来说，伪造国家政要的视频，传播虚假信息，操纵民众情绪，危害公共安全。例如，在我国全力迎战新冠肺炎疫情期间，如果有人利用“深度合成”技术制作出权威专家发表“疫情不可防、不可控”的虚假视频，就极有可能引发全社会的不稳定。

在信息爆炸时代，民众对信息的真伪虽然有一定的鉴别能力，但当谣言以视频的形式出现时，不仅深度契合“眼见为实”的认知共性，更在权威专家“背书”的基础上大幅增加谣言的可信度，由此导致虚假视频、音频的影响范围越广、影响深度和危害性越大。当“眼见不为实”成为社会常态时，必然会对长期延续下来的认知体系产生强烈冲击，激起人们对一切事物的怀疑，直接冲击社会信任体系。

因此，目前世界各国针对深度伪造的治理都出台了法律法规。

l 《民法典》：禁止利用信息技术手段伪造等方式侵害他人的肖像权和声音

l 《网络音视频信息服务管理规定》：对深度合成内容显著标识；不得利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播虚假新闻信息

l 《网络信息内容生态治理规定》：网络信息内容服务使用者和网络信息内容生产者、网络信息内容服务平台不得利用深度学习、虚拟现实等新技术新应用从事法律、行政法规禁止的活动。

l 《2018年恶意伪造禁令法案》对制作深度伪造内容引发犯罪和侵权行为的个人，以及明知内容为深度伪造还继续分发的社交媒体平台，进行罚款和长达两年的监禁。如果伪造内容煽动暴力、扰乱政府或选举，并造成严重后果，监禁将长达10年。

l 《深度伪造责任法案》要求任何创建深度伪造视频媒体文件的人，必须用“不可删除的数字水印以及文本描述”来说明该媒体文件是篡改或生成的，否则将属于犯罪行为。

l 《2019年深度伪造报告法案》明确了“数字内容伪造”的定义，规定国土安全部定期发布深度伪造技术相关报告。

除了美国之外，欧盟、德国、新加坡、英国等国也出台了相关的监管政策。

相关国家也通过设立专项计划对深度伪造进行治理，我们这里以美国为例：

2015财年，DARPA启动了“媒体取证”项目，研发自动评估照片和视频完整性的算法，探索、识别深度造假中存在视听不一致的技术，包括像素不一致（数字完整性）、与物理定律不一致（物理完整性），以及与其他信息源不一致（语义完整性）等问题，并向分析师提供有关伪造内容是如何产生的。

“媒体取证”项目2019财年获得1750万美元的资助，2020财年获得530万美元。该项目在2021财年完成后，将过渡到作战指挥和情报部门。

​2019财年，DARPA启动了“语义取证”项目，开发算法，检测、归因各种深度造假内容。这些算法包括：（1）语义检测算法，确定该媒体内容是真实的还是由深度造假技术操控。（2）归因算法，推断媒体内容是否来自所声明的来源。（3）特征算法，试图发现内容造假背后的意图。“语义取证”项目2020财年获得970万美元的资助，2021财年获得1760万美元。

其次还有从技术层面，开展榜单竞赛相关治理举措，比如FaceForensics Benchmark是德国慕尼黑工业大学联合Google等多家机构共同发布的大规模人脸伪造数据集，用于促进对人脸伪造检测的学术研究，并提升工业界对于人脸防伪业务落地的重视程度。2020年，由Facebook牵头，微软、亚马逊、MIT等知名企业与高校共同发起了深度伪造检测挑战赛，这是首个国际范围内针对伪造人脸检测的挑战赛，共有2,200多支团队参加了此项比赛，参赛模型超过35,000个。最终在测试集中检测，得到的最高准确率为82.56%。

国内也有全球安全极客大赛极棒中，2020年的大赛就曾举办了虚假人脸AI识别赛，我们在比赛中战胜了Facebook比赛中第二名的中科大团队。

2020年，中国人工智能大赛中也设立了深度伪造检测比赛，我们也是获得了绝对领先的成绩。

虽然不同国家、不同机构都采取了一些措施致力于解决深度伪造的负面影响，但对于深度伪造的治理任务是相当艰巨的。比如在TikTok上受到关注度极高的阿汤哥的伪造视频，肉眼来看已经难以辨别是假的了。

同样地，我们来看看右边的这几个人脸，大家可以猜猜哪些是真的哪些是假的。（停顿）其实，只有斯瓦辛格的这张是真人。因此，在人脸难辨的情况下，对于深度伪造的虚假内容，我们必须依靠计算机进行检测。

然而，正如大家能够想象到的，依靠机器检测的过程其实是个长期对抗的过程。这里的对抗性主要体现在两个方面。

第一个方面是造假算法在不断丰富，伪造图像越发逼真。这里我们举两个典型的例子。最初的伪造视频其实是有一些反常识的特征的，比如一段1分钟的视频中，人没有眨一次眼睛，于是我们可以基于人体的生理特征去对人物的真假进行判定；但是自然而然地，造假者随后也通过在视频中随机生成眨眼动作，很大程度上逃避了这种检测方式。第二个例子，深度伪造的视频人物，为了与背景有比较好的融合，会对边缘进行简单的高斯模糊处理，而当检测算法基于这样的特征进行检测以后，伪造算法也对人脸边缘做了更精细化的处理。

第二个方面是利用深度学习的缺陷绕过检测算法。这里我们以典型的对抗样本攻击为例。通过在图片上添加对抗样本噪音，可能使得伪造视频躲避自动检测。

当然，也正是由于深度伪造治理有着巨大的挑战，势必需要有着深厚技术实力和AI对抗经验的团队，才能做出真正能落地的解决方案

RealAI基于团队深厚的AI技术积累以及基于实战需求对产品不断迭代，正式推出业界真正可落地的深度伪造检测平台DeepReal。该平台拥有工业级的检测性能，以及应对实网环境对抗变化的检测能力。平台支持对视频和图片进行批量检测，全界面化操作。针对每个图片或视频，标注详细的虚假帧信息，并可查看详细的分析报告。最右是对于深度伪造视频的检测结果示例。

这一平台拥有业界最领先的检测性能。

在目前所开源的所有学术数据集上，我们的检测准确率均超过99%，同时，在百万规模的实网深度伪造测试集上达世界顶尖水平，远超Facebook此前举办的Deepfake检测挑战赛所公布的最好成绩。平台对于单张图像的检测耗时不到30毫秒，支持横向扩展与集群部署，适用于大规模实网落地。

针对互联网环境中众多的深度伪造类型，平台也进行了全面的覆盖。包括针对真实人物的面部替换、表情操纵，以及完全合成的虚假人物等。

同时，实网环境中的伪造视频不断变化，需要有强对抗的手段加以遏制。这里介绍两个我们一是使结果具有可解释性，这样才能真正让人信服AI的检测结果是可靠的。

利用贝叶斯深度学习，我们将伪造视频的先验知识进行融合，同时能够输出更加准确的置信度，以此增加对预测结果确定性的预判；结合精细化的具有可解释性的数据集的标注和构建，能够使预测结果的确定性和可解释性都有很大提升。

二是能够快速即时应对新型的深度伪造类型。一方面利用了前面提到的贝叶斯深度学习，另一方面也利用了小样本增量学习的方法，使得在初期见到少量新型伪造数据时，便能迅速学习到伪造特征。

除了上述有代表性的两个方面以外，我们对深度伪造的治理进行了全面的技术布局。

比如实战环境中有音视频数据，所以我们会利用多模态分析算法综合分析；对抗环境中使用对抗学习技术，在部署环境中支持多模型和单模型，同时通过不确定量化和配合溯源技术提升可靠性。

同时，为了进一步提升检测的可靠性，我们不仅做预测，更布局了溯源技术，进一步对深度伪造视频进行具有可解释性、可靠的综合治理。

目前，团队在深伪领域发表顶会论文数十余篇，包括 ICLR、NeurIPS、MM、ICML等，依托于这些技术积淀和实战经验的迭代，团队在深度伪造治理方面已取得了不少成绩。国际安全极客大赛 GeekPwn 2020 首届 CAAD 虚假人脸 AI 识别大赛，以绝对比分优势战胜中科大、蚂蚁金服等团队，获得冠军。

荣获国家工业信息安全发展研究中心2020年人工智能优秀产品和应用解决方案等。

虽然成绩颇丰，但我们清醒地认识到针对深度伪造的风险，一定是需要从监管到研究再到落地实战进行全方位的治理。（完）

亲爱的数据，出品