拜登深度伪造和其他音频伪造是用ElevenLabs AI制作的-彭博社

Jordan Howlett

摄影师：约翰·弗朗西斯·彼得斯，彭博商业周刊插图：皮特·加姆伦，彭博商业周刊26岁的乔丹·豪利特在Instagram、TikTok和YouTube上拥有2400万粉丝，非常谨慎地选择合作品牌。他与Domino’s Pizza、Google和WingStop签署了协议，靠制作视频为生，视频内容涉及如何“像专业人士一样打开罐子”或“正确吃Chipotle碗”的最佳方式。因此，当他开始收到询问为何在Facebook和Instagram上为所谓的治疗失明的产品做广告时，他感到恐慌。

豪利特点击了其中一个问题视频的链接，恐惧地听着一个声音，听起来就像他自己，描述了“剑桥的顶尖研究人员”发现了一个可以让任何人拥有完美视力的七秒仪式。视频中包含了脑部X光和中年人眯着眼看手机的库存图像，剪辑非常粗糙。但根据豪利特的说法，声音听起来非常令人信服。“当我听到自己的声音时，我感到恐惧，”他说。“理论上，他们可以让我说任何话。”

多年来，网络安全专家一直在警告深度伪造——人工生成或篡改的媒体，可以通过作为真实内容。尽管人们对图像和视频的担忧很大，但在过去一年中，已经明确了声音深度伪造，有时被称为声音克隆，构成了最直接的威胁。欺诈检测机构Pindrop的创始人维杰·巴拉苏布拉马尼扬表示，他的公司已经开始看到对银行客户的攻击，其中欺诈分子使用合成音频冒充客户支持电话中的账户持有人。

豪利特说他对自己的声音被伪造感到“恐惧”。摄影师：约翰·弗朗西斯·彼得斯，彭博商业周刊另一个主要的担忧是政治操纵，比如 20,000名新罕布什尔州选民接到一通电话，声称是来自总统乔·拜登，敦促他们不要在第二天投票给他。这并没有明显的实际影响：拜登甚至不在候选名单上，但仍然以压倒性的优势通过书面竞选获胜。尽管如此，这一事件加强了人们对这种技术可能在今年的选举中发挥重要作用的担忧。2月8日，美国联邦通信委员会 禁止使用人工智能的自动电话竞选活动。

Pindrop表示，伪造豪利特的视频是通过将他讲话的录音输入到一家名为 ElevenLabs 的初创公司开发的软件中来克隆他的声音。从那时起，正如豪利特所担心的那样，ElevenLabs的技术赋予了其用户以在他的声音中创建令人毛骨悚然的令人信服的音频叙述的能力。另外两名独立研究人员分析了拜登的自动电话，并确定该音频也是通过 ElevenLabs技术生成的。

童年时的朋友Mati Staniszewski，曾是Palantir Technologies Inc.的一名前部署策略师，而Piotr Dąbkowski则是前Google机器学习工程师，两人于两年前创立了ElevenLabs。他们在波兰长大，看着被拙劣配音成波兰语的好莱坞电影，因此想到人工智能可以让今天的孩子们免受类似的经历。他们认为，同样的工具可以用来讲述在线课程或有声书，甚至实时翻译对话。

这个想法让ElevenLabs成为生成式人工智能行业中最受关注的初创公司之一。它并非唯一的语音克隆服务，但已跻身行业前列。ElevenLabs已从包括Andreessen Horowitz、Smash Capital和DeepMind联合创始人Mustafa Suleyman在内的投资者那里筹集了资金。该公司最近一轮融资于一月宣布，估值达到了11亿美元。熟悉ElevenLabs内部运作的人士表示，管理层并不希望看到其产品被用于制作欺诈性互联网广告或选举压制材料。但就像成功的互联网初创公司经常发生的情况一样，该公司的工具传播得比开发防范滥用的措施更快。

ElevenLabs提供一个免费的通用语音库，但对于可识别的声音克隆的需求迅速增长。在2023年一月推出了一个工具，允许人们只需一个短音频剪辑就能克隆一个声音之后，ElevenLabs在Twitter上表示，他们看到“越来越多的声音克隆滥用案例”。据当时的新闻报道，这些滥用案例源自网站4chan上的用户，分享了播客乔·罗根和女演员艾玛·沃特森似乎使用种族主义和恐同言论的片段。

名人模仿对ElevenLabs提出了法律困境。 1988年，上诉法院裁定，著名人士有权禁止未经其许可商业使用其声音等独特特征。（此问题起因于Bette Midler起诉Ford Motor Co.，因其拒绝在广告中演唱，而该公司聘请一位歌手模仿她的声音。）

为了减少滥用，ElevenLabs开始对其之前免费的语音克隆工具收取每月1美元的费用。这并没有使制作音频深度伪造成本过高，但这意味着用户必须连接可追踪的付款方式，如信用卡，这可能会阻止不良行为者并有助于执法。

ElevenLabs表示，他们不会“就特定事件发表评论，但如果有违反我们条款的内容被提出，我们将采取适当行动。” Staniszewski在一月接受彭博新闻采访时表示，公司技术几乎所有的使用都是合法的，ElevenLabs可以追踪用户使用语音克隆创建的短语。“所有的安全措施都是至关重要的，”他说。

2023年底，该公司开始制定一项计划，以应对具有各种恶意意图的用户，一位熟悉该公司运营的人士透露，该人要求匿名讨论非公开信息。ElevenLabs首席幕僚维多利亚·韦勒特特别关注于在2024年英国《在线安全法案》和欧洲《数字服务法案》生效之前制定规则。她希望制定围绕冒犯性语言的政策，并为员工制定手册，以便他们清楚何时可以禁止客户。ElevenLabs的使用规则禁止“欺骗性或误导性语音克隆”和“煽动暴力或宣扬仇恨的内容”。但他们也承认公司不会“主动监控您在我们服务上的内容。”

ElevenLabs的40名员工中有五名致力于信任和安全。在采访中，熟悉该公司工作的人表示，创始人们热衷于防止可能的选举舞弊或滥用语言。但人工智能和信任与安全领域的专家表示，几乎不可能阻止人们利用公开可用的生成式人工智能工具创建有问题的内容。曾在多家软件公司从事内容审核工作的社区经理Mohamed Abdihakim Mohammed表示，科技公司通常的目标是阻止90%的有害行为。但初创公司“实际上无法阻止如此容易获取的语音克隆技术造成破坏，”他说。

拜登的自动拨号电话显示了ElevenLabs技术防护的局限性。该公司提供了一种称为“语音分类器”的工具，据称可以确定音频剪辑是否是合成的，以及任何特定剪辑是否是使用其软件创建的。Bloomberg Businessweek和Pindrop使用了该工具来检查拜登的其中一个剪辑，结果显示这项技术并非深度伪造。其他公司的类似工具得出了相反的结论，而在清除背景噪音后，ElevenLabs自己的工具却得出了其技术确实被使用的结论。

这一不断变化的判决显示，深度伪造检测工具在离开源头越远时往往变得不太可靠。创作者可以添加噪音或其他扭曲来迷惑这些工具。社交媒体上事实核查项目的记录也表明，即使完美的检测也会产生有限的影响。一旦有人制作了音频剪辑，它就可能在社交网络上广泛传播，误导性内容往往会传播到不愿相信那些声称与他们产生共鸣的内容是非法的观众中。

大约有121,000人观看了假的豪利特视频。他说，更多类似的视频“可能会破坏未来的商业机会”。他还担心这将使他的粉丝面临欺诈风险。“我不希望我的粉丝受骗”，他说。

然后是2024年的选举。Deepfake创作者一直在热情地探索可能性。其中之一是YouTube上的创作者兼AI Answers的创始人Samin Yasar，该服务致力于使用AI音频替换呼叫中心。今年1月，Yasar发布了一段视频，称他使用ElevenLabs代表两个政治竞选克隆了声音。

Yasar摄影师：Amy Lombard for Bloomberg Businessweek视频的灵感来自与日光浴床企业家亚当·温斯的对话，他创立了一个名为Winningest Method的业务，提供生活指导和减肥药。温斯问Yasar是否可能创建一个大规模的自动政治电话竞选活动，以从选民那里收集民意调查信息。他告诉Yasar，他认识可能会利用这项技术的人。

为了做出概念验证，Yasar使用ElevenLabs克隆了MyPillow的首席执行官Mike Lindell的声音，他在右翼政治中活跃，并因涉及对2020年总统选举的虚假指控而被投票机公司Dominion Voting Systems Inc.起诉13亿美元。林德尔否认有任何不当行为。“我坚信我们需要审查我们的投票系统并确保透明度”，音频宣称，这是根据ChatGPT审查的样本所述的脚本。“我的努力集中在调查不正常情况上。”

Lindell摄影师：Joshua Roberts/BloombergYasar将音频上传到了一个自动拨号服务。假的林德尔可以回答选民的问题和评论，就像自动客户服务电话一样。

温斯表示，他向林德尔和斯科特·詹森（Scott Jensen）提出了这个想法，后者是一位曾经批评传播新冠病毒虚假信息的明尼苏达州前共和党州长候选人。他从未收到回复，最终在商业化这项技术之前放弃了这个想法，称潜在的法律问题开始让他感到紧张。不过从技术上讲，他是没有受到任何阻碍的。—与Mark Bergen阅读下一篇文章：没有法律保护人们免受深度伪造色情的侵害。这些受害者进行了反击

在美国，就业机会很多，消费者充满信心，并且支出。股市在二月份达到了纪录，美元强劲。去年，经济增长超过了西班牙或印度尼西亚的经济规模，结束了2023年以来连续两个季度的最快增长。但依靠美国推动世界增长对其他国家以及美国本身都存在风险。

中国仍然陷入了房地产低迷，而外国投资者已在股市暴跌中逃离这个国家，自2021年初达到峰值以来已经蒸发了7万亿美元。房价连续三个季度下跌，是自上世纪90年代亚洲金融危机以来最长的通缩期。在欧洲，英国在2023年下半年陷入了轻微衰退，而德国有可能在2024年再次收缩，拖累了整个欧元区。日本去年意外陷入了衰退。“美国经济今年将继续在全球大部分地区的经济中表现突出，特别是在中国和欧洲，”穆迪分析公司首席经济学家马克·赞迪说。