制作深度伪造视频变得如此容易，如何识别它们以及为什么它们构成威胁 - 彭博社

Midjourney AI生成的教皇弗朗西斯的假照片，左边，以及真实的教皇弗朗西斯的照片。来源：Midjourney；AFP / Getty Images现在，人工智能使任何拥有智能手机的人都能从看似虚无的地方召唤出逼真的图像和声音，很难分辨你在网上看到和听到的是现实还是虚构。起初，所谓的深度伪造技术主要用于成人视频，其中一位名人的脸被映射到色情演员的身体上，而没有得到他们的同意。然而，越来越多地被用来传播谎言并损害声誉：情报机构传播虚假的领导人视频剪辑以抹黑他们；政治家发布对手的篡改视频口齿不清或说出他们从未说过的话。政府对可能破坏民主的大规模虚假信息感到担忧，已经开始反击。

1. 深度伪造是如何制作的？

虽然使用Photoshop和其他应用程序操纵数字文件并不新鲜，但深度伪造是通过一种形式的人工智能完成的。算法经过训练，识别特定人物的真实视频录像中的模式，这个过程称为深度学习。然后可以将一个视频的元素，比如人的脸，替换到另一段内容中。当与语音克隆技术结合使用时，这些操纵最具误导性，语音克隆技术将某人说话的音频剪辑分解为可以重新组合成原始录音中的人物所说的新单词的半音节块。这是用于创建像苹果的Siri和亚马逊的Alexa等语音助手的相同方法。

2. 深度伪造技术是如何起步的？

《Motherboard》是 Vice 出版的一本杂志，报道 2017 年，一个名为“deepfakes”的 Reddit 用户设计了一个算法，利用开源代码公开制作虚假视频。此前，这项技术是学术界和研究人员的领域，但现在任何人都可以使用它。Reddit 封禁了 用户“deepfakes”，但这种做法却蔓延开来。OpenAI 在 2021 年推出了 Dall-E，2022 年推出了 ChatGPT，将可能性提升到了一个新水平。如今的 AI 媒体生成工具可以仅凭几个关键词在类似即时通讯的界面中生成文本、逼真的图像，以及越来越多的视频。

3. 深度伪造技术的发展如何？

深度学习算法接受的内容库越大，伪造出来的内容就越真实。苹果录制了 10 到 20 小时的语音来创建 Siri。演员兼导演乔丹·皮尔在 2018 年制作了一段长达一分钟的深度伪造视频，看起来像是前美国总统巴拉克·奥巴马使用粗话指称他的继任者唐纳德·特朗普。皮尔模仿了奥巴马的声音，并使用了 56 小时的前总统样本视频录音。与 AI 公司现在应用新工具的整个网络上免费提供的所有内容相比，这些样本规模微不足道，从 YouTube 到维基百科再到库存图像库。理解这种差异带来的影响最简单的方法是回顾那个病毒式传播的奥巴马视频片段：一个人必须操纵一个已经存在的视频并提供真实的声音表演；而今天，某人只需要求机器创建一个前总统的视频，它就会出现。

4. 一些深度伪造的例子有哪些？

• 五月份，一张据称是五角大楼起火的图片在网上流传，导致美国股市出现短暂下跌。专家表示，这张图片显示军事基地旁边的一根烟柱具有人工智能生成的特征。
• 三月份，社交媒体用户分享了人工智能生成的图片，看起来显示特朗普被纽约市执法部门逮捕。在社交媒体上流传的许多图片的创作者确认，这些图片是使用人工智能工具Midjourney制作的。
• 二月份，网络上传播了篡改的音频，声称尼日利亚总统候选人Atiku Abubakar计划操纵当月的选举。
• 2021年，一段长达一分钟的视频在网上出现，似乎显示乌克兰总统沃洛迪米尔·泽连斯基告诉他的士兵放下武器向俄罗斯投降。
• 2019年，前美国众议院议长南希·佩洛西在一个篡改视频中似乎口齿不清，在社交媒体上广泛传播。

5. 这里存在什么危险？

尽管今天制作的许多深度伪造仍然相当拙劣且容易检测，但人们担心它们最终会变得如此令人信服，以至于不可能区分真实与虚假。想象一下，欺诈者通过制作虚假视频，显示首席执行官发布公司更新，从而操纵股价；或者制作虚假视频，显示总统候选人对儿童进行性侵，警察局长煽动对少数群体的暴力，或者士兵犯下战争罪行。政治家和商界领袖等备受关注的人士尤其面临风险，因为他们的许多录像在公共领域中。对于普通人，尤其是妇女，这项技术使得即使没有实际裸照或视频存在，也有可能出现复仇色情。一旦视频在互联网上病毒式传播，几乎不可能控制。另一个担忧是，提高对深度伪造的认识将使那些真的被拍到做或说令人反感或违法的事情的人更容易声称针对他们的证据是伪造的。一些人已经在法庭上声称深度伪造辩护，称用来对付他们的视频材料可能已经被制造。

阅读更多： 深度伪造色情受害者发现没有法律可以对抗

6. 如何识别深度伪造？

产生深度伪造的机器学习 不容易 被逆转以检测它们。 研究人员 已经确定可能表明视频不真实的线索 — 例如，如果说话者有一段时间没有眨眼，或者看起来有点抖动 — 但这些细节很容易被观众忽略。通过增强一个人的视频的颜色饱和度，可以从面部皮肤几乎看不见的变化中检测到他或她的脉搏；由混合剪辑制成的图像将具有不规则或不存在的血流。

7. 有什么措施正在采取吗？

荷兰的Sensity AI和爱沙尼亚的Sentinel等少数初创公司正在开发深度伪造检测技术，许多大科技公司也在进行类似工作。 英特尔公司于去年十一月推出了其FakeCatcher产品，作为其负责任人工智能工作的一部分。据该公司称，它可以以96%的准确率检测伪造。美国国防部也 正在开发 工具来对抗深度伪造，这是监管机构与人工智能行业领导人举行的许多会议中的一个关键关注点。在联邦政府陷入僵局的情况下，州立法机构更快地推进了旨在解决人工智能的直接危害的法律。九个州已经 颁布了法律 来规范深度伪造，主要是在色情和选举影响的背景下，至少还有四个州的法案处于立法过程的不同阶段。欧盟的 AI法案 ，目前仍在谈判中，将要求公司将深度伪造标记为此类产品。

### 8. 是否存在善意用途？

是的。苏格兰公司 CereProc 为那些因疾病失去自己声音的人创建数字化声音，声音克隆可以通过重新创造历史人物的声音来起到教育目的。北卡罗来纳州立大学的一个 项目 合成了马丁·路德·金恩牧师的一篇未记录演讲。CereProc 创造了约翰·F·肯尼迪总统最后一次演讲的版本，但约翰·F·肯尼迪在发表演讲前遭到暗杀。约翰·F·肯尼迪图书馆 拒绝了 这段录音，称其不符合其准则。

参考书架

• QuickTake 解释了美国对 AI 监管、为什么 AI 是美中竞争的 下一个爆点、AI 术语的 速查表，以及 生成式 AI 工具背后的技术。
• 证券交易委员会主席加里·根斯勒表示，Deepfakes 也对金融市场构成 威胁。
• 谷歌和微软如何加速 AI 深度伪造色情。
• Bloomberg Law 称美国监管机构正在努力阻止 Deepfakes 影响 2024 年总统选举。
• 一段关于 Lyrebird 的彭博视频，这家 AI 公司可以替你说话。