印度展示了竞选深度伪造视频的崛起 - 彭博社

一个女人在印度查蒂斯加尔驾驶汽车，4月16日。

摄影师：Idrees Mohammed/AFP/Getty Images收听Big Take播客，iHeart，Apple Podcasts，Spotify和彭博终端。

收听 • 16分钟36秒

Big Take: 印度选举面临深度伪造视频挑战 (播客)

16:36

Divyendra Jadoun，被称为“印度深度伪造者”，今年非常忙碌。这位31岁的男子已经建立了一个围绕为印度政治家制作深度伪造视频的业务 —— 这些竞选风格的视频中，候选人似乎在向选民逐个致辞。在今天的Big Take播客中，总部位于班加罗尔的人工智能记者Saritha Rai和欧盟政策记者Jillian Deutsch与主持人David Gura一起探讨了对这些竞选深度伪造视频日益增长的需求，对虚假信息的担忧，以及在印度进行世界上最大选举时监管这项技术所面临的挑战。

每个工作日收听Big Take播客，并订阅我们的每日新闻简报

终端客户端：在桌面上运行{NSUB BIGTAKEPOD <GO>}以订阅

这里是对谈话的轻微编辑转录：

**大卫·古拉：**在印度西北部的普什卡尔小镇，迪文德拉·辛格·贾杜恩正在他的工作室努力工作。

这种氛围有点类似于硅谷初创企业的早期：

贾杜恩建立了一个小工作室，在那里他和几个同事创作数字内容。

他已经从制作宝莱坞恶搞视频转向制作这样的视频：

**深度伪造纳伦德拉·莫迪：**亲爱的沃希特·贾因，亲爱的马诺杰·巴加特，亲爱的阿比舍克·萨姆森，亲爱的戈德·乔汉

**古拉：**看起来像是印度总理纳伦德拉·莫迪。但实际上这是一个深度伪造。

自称“印度深度伪造者”的贾杜恩正在利用人工智能技术使莫迪看起来直接在向个别选民发表讲话。

在那段视频中，你听到他替换了四个不同的名字。他称呼每个人为“亲爱的”。

印度历史上最大的选举刚刚开始，贾杜恩备受青睐。

他制作这样的视频，以及为候选人制作人工智能聊天机器人，希望利用一种主要没有监管的技术迅速触达更广泛的选民。

贾杜恩正在改变政治家在世界上最大的民主国家中竞选的方式，这可能对全球产生影响，因为各国正在应对人工智能带来的虚假信息风险。

今年，形势非常严峻。全球有60多个国家将举行国家选举，包括美国。而这项技术并不认识边界。

这是Jadoun的另一个视频。即使你从未听过他说过印地语，你可能也会认出这个声音。

深度伪造特朗普：我不是真特朗普，Rajesh 你在干什么？我不是真特朗普 Deepak，你在干什么？Sunita，你在干什么？我不是真特朗普

Gura：那是唐纳德·特朗普的深度伪造，来自Jadoun制作的同一公开亮点合集，其中还有莫迪的视频。

在视频中，“唐纳德·特朗普”也在用名字称呼不同的人，并指出他不是真正的唐纳德·特朗普。

在今天的节目中，印度的一个深度伪造行动告诉我们未来一年会发生什么，当全世界都在举行选举时，以及如何监管这项新兴快速发展的技术所面临的挑战。这是彭博新闻的《大局观点》，我是大卫·古拉。

真的。我保证。

**Gura：**Divyendra Jadoun今年非常忙碌。这位31岁的年轻人已经建立了一个以制作深度伪造为主要业务的公司。起初，他的工作主要是以娱乐为重点。

**Saritha Rai：**在COVID期间，他告诉我他开始使用很多这些技术工具，开始制作视频，并将其他名人叠加到宝莱坞的舞蹈视频中，或者将宝莱坞的名人叠加到好莱坞电影片段中。

**Gura：**这是彭博的Saritha Rai。她在班加罗尔的家中报道亚洲的人工智能。

**Rai：**我是说，真的很笨拙的小视频。他给我看了一些例子。它们在技术上并不是很先进。

**Gura：**萨里萨说，Open-AI的Chat GPT的出现使贾杜恩更容易制作高质量的视频，很快，他看到了进军印度政治的机会，在那里对由AI生成的视频有很大的需求。总的来说，我们在今年的选举中看到了两种深度伪造。一种是来自希望得到下一代、由AI驱动的文本消息版本的竞选活动的深度伪造，量身定制给每个选民。

另一种是故意误导的视频，其中某人的肖像被使用，而该人并不知情或同意，以影响选举结果。贾杜恩告诉萨里萨，他对接受的工作有一些基本规则：

**Rai：**他告诉我，他不接受直接来自候选人的合同和委托。他宁愿是来自数字代理机构、AI代理机构、承包商甚至政党。但他说通常这些工作是通过那些被主流政党承包的中间人来的。

就他的工作而言，他绝对不偏袒任何一方。他告诉我，他为几乎所有的主要政党工作。

**Gura：**他建立起来的运营看起来是什么样子的？

**Rai：**他最初是一个人的小店，但由于接到的所有工作，他已经扩张了。我第一次和他交谈时，他说他有几名工人，那是几个月前的事了，然后他告诉我他有另外五名员工帮助他们制作这些视频。

**Gura：**制作那些个性化视频，就像莫迪和特朗普的那些视频一样，涉及向AI模型输入一个人的音频或视频，以捕捉他们的声音、面部表情和动作。

**Rai：**训练AI模型需要几天到一周的时间，但一旦训练完成，他就可以非常快速地制作这些视频，几乎是即时的，就像在几分钟内，他就可以制作这些视频。

**Gura：**Saritha说，在印度，政治家们正在利用DeepFake视频，比如贾杜恩的视频，进行选民接触。

这是一种相对廉价的方式，可以吸引这个庞大国家各地的人们。直接地，以一种在大型竞选集会上无法做到的方式。

在印度，这是非常有价值的，因为那里有大约9.68亿合格选民：

**Rai：**通过生成式AI可以实现的超个性化水平。你只需训练模型说出主要信息，然后输入成千上万个名字。它将立即复制出相同的视频，并与莫迪呼唤每个人的名字完美同步。

**Gura：**视频质量非常好，Saritha说，很难辨别它们是DeepFake视频。特别是在一个技术素养差异如此之大的国家。

**Rai：**这些是数以百万计的人，他们第一次接触任何技术设备，因为他们可以接触到廉价的智能手机。

他们是那些过去几年第一次体验互联网的人。因此，AI在印度可能产生的影响肯定会被放大，因为人们对AI可能被用于的欺骗更加脆弱。

我认为这确实是人工智能技术与智能手机的普及以及印度等国家廉价宽带的结合所带来的力量。在其他情况下，要想出去向选民传达信息将是一项非常昂贵的任务。

**Gura：**你说他可以快速工作，而且并不是非常廉价。

**Rai：**我肯定会说，与一些政客进行实地竞选相比，这简直是小巫见大巫。例如，如果莫迪乘坐私人飞机前往国家的偏远地区。

在这里，莫迪可以用深度伪造的方式向所有那些选民发表一条个性化、超级个性化、个别化的信息，可能只需6000或7000美元。

**Gura：**您能确定这种技术对选举产生的影响，以及未来可能产生的影响吗？

**Rai：**选举曾经是一个神奇的时刻，各种表演者、各种戏剧、各种东西都会来到您的社区，因为这是整个印度所谓的选举tamasha，也就是选举戏剧，几乎是非常戏剧性的东西。

但是当我今天望向外面的时候，在我的社区几乎看不到即将到来的选举的任何明显迹象。事实上，我所在的班加罗尔将在几天内投票，但绝对看不到任何大规模的竞选活动或选举材料的公开展示。

没有横幅，没有海报，没有任何这样的东西。而这实际上是过去的情况，所有这些东西都会贴满街道，挂在建筑物上，无处不在。今天却一个都没有。

我所看到的，我看到这是技术带来的变革，很多竞选活动将会对选民进行超个性化的定制。

古拉：周五，印度开始了七轮分阶段投票。选举将持续到6月1日，我们预计在那之后的三天内得知结果。

莫迪希望再次当选，贾杜恩预计他的很多工作将在投票开启前几天集中在竞争激烈的州选举中。

**莱：**很多信息将通过他们的手机传达给他们。很多内容将是由人工智能生成的。

**古拉：**休息后，我们将讨论监管深度伪造技术的挑战，不仅仅是在印度，而是全球范围内。

**古拉：**生成式人工智能的爆炸性增长及其潜力使其成为监管的挑战。

支持者吹捧其潜力提升生产力，在选举中，可以接触更多选民。但批评者指出，在信息扩散加剧和对网络安全的担忧日益增加的时代，它存在缺陷。

在监管方面，许多政府无法或不愿在技术初期迅速行动。

在美国，人工智能立法被困在国会中。英国也在讨论立法。中国对人工智能公司制定了规定，但对它们的实际运作方式缺乏透明度。

欧盟通过了一些最全面的规定**。**这些规定可能成为其他地方立法者的蓝图。去年，它通过了“人工智能法案”，规定了在欧盟运营的公司如何开发和使用人工智能的报告要求和限制。

彭博社的Jillian Deutsch在布鲁塞尔报道了有关该法律的辩论。

**Jillian Deutsch：**我认为看待欧盟对待人工智能的方式最好的方法是看到他们实际上并没有对技术本身进行监管。他们是在监管技术的使用。

他们必须向欧盟提交风险评估报告，例如，人工智能可能带来的更严重的危害，比如根据个人行为为公民分配社会评分，或者在工作场所或学校使用情感识别技术，这些在欧盟是明令禁止的。

这些是确保这种令人担忧但显然非常有前途的技术——生成式人工智能，具有应有的正确防护措施的足够好的规则。

**Gura：**但是，Jillian说，尽管这项法案的框架及其引人注目的推出方式，这个“人工智能法案”在范围上仍然有限。

对于监管应该有多严格存在分歧，人们担心监管会扼杀创新。

**Deutsch：**德国和法国等国家也迅速反击，实际上表示这些规定太多了，实际上欧洲将自掘坟墓。如果我们是第一个对生成式人工智能公司施加我们认为非常严格要求的国家。

他们会选择去其他地方。他们不会在这个大陆投资。我们也需要获得人工智能的好处，而不仅仅是基于担忧而过度监管。所以，最终发生的是，我们只有更基本的透明度要求。

**古拉：**法律中没有明确规定欧洲选举中AI可以或不能使用。其他国家正在研究欧洲的做法，但许多国家呼吁公司自我监管。我向记者Saritha Rai询问了这个问题：

古拉：如今印度的AI监管格局是怎样的？

**Rai：**在涉及AI时，印度根本没有任何监管。当然，已经有人试图在社交媒体上监管深度伪造视频。这在某种程度上是一个绕过的方式。印度政府要求社交媒体平台如Facebook和Google自我监管：比如YouTube、WhatsApp、Facebook、Instagram。政府告诉这些平台，当深度伪造或由AI生成的内容出现在这些平台上，人们向他们举报后，他们只有24小时将内容删除。

**古拉：**Meta、Alphabet和其他科技公司的代表表示，他们正在努力解决AI的潜在问题。

Jillian说专家们断言很难知道深度伪造视频在决定2024年选举结果中将扮演多大角色。

**Deutsch：**我们不想过分强调深度伪造视频的普及程度或影响力，但显然它引起了很多人的关注，因为这是一种非常新的东西，制作成本更低，速度更快，比以前更复杂。而且，它们不必影响一个国家的每个人，你知道，很多政府、很多选举结果都是由非常小的百分比差异决定的。

**古拉：**暂时来说，选民需要对他们在网上看到的一切持有批判的眼光。吉利安指出，一些深度伪造视频比其他视频更难以辨别真伪。许多视频仍然有着显而易见的迹象：可能会有人手上有太多手指，或者衣物或配饰的外观不一致。

**德意志：**音频深度伪造甚至更难识别。我们知道，我们看不到太多社交线索来判断它是否正确或者是否被伪造。

**古拉：**萨丽莎说，这在新罕布什尔州的总统初选前期发生过，那是在一月份：

**莱：**使用语音克隆技术的自动拨号电话，冒充拜登，要求选民投票给一个明显他不支持的候选人。

**古拉：**越来越多的深度伪造被视为严重的虚假信息威胁。

**古拉：**人们担心这项技术可能如何在美国政治中被利用或滥用。在印度对于这种使用方式或可能被使用的方式是否存在同样的忧虑或焦虑？或者只是对这种技术的神奇性质感到着迷？

**莱：**当然，我认为全世界都担心这些深度伪造如何被用来愚弄或欺骗选民。我们已经看到它发生在多个国家，从印度尼西亚到巴基斯坦，甚至在美国。

Gura: 但是像迪文德拉·贾杜恩这样的深度伪造创作者看到了机会，Saritha说。他的生意蒸蒸日上。

Gura: 他是否有设计或愿望将这项工作带到其他国家，并介入其他国家的政治？

Rai: 因此，迪文德拉告诉我，他在多个国家有代理人为他工作，比如加拿大，该国将在2025年举行选举。印度一直以技术服务外包而闻名，但是随着迪文德拉等人的出现，人工智能和选举深度伪造外包可能会迎来新生机。我认为他肯定是雄心勃勃的。因此，印度一直以技术服务外包而闻名，但是随着迪文德拉等人的出现，人工智能和选举深度伪造外包可能会迎来新生机。这可能是一种新型的外包。

所以我认为他正在建立一个新的商业模式。

本集由制作：Alex Sugiura；高级制片人：Naomi Shavin；高级编辑：Elisabeth Ponsot；编辑：Aaron Edwards和Tom O’Sullivan；执行制片人：Nicole Beemsterboer；音效设计/工程师：Veronica Rodriguez；事实核查员：David Fox

全球最大的科技公司的抛售打击了股市，华尔街交易员正准备迎接这个推动牛市的行业的一波业绩。

股市从最高点延续下跌，S&P 500跌破了5,000点，Nasdaq 100下跌超过2%。超过一半的科技巨头“七巨头”将在下周公布财报，投资者们不知道这些公司是否能达到人工智能设定的高期望。就在上周五，两家人工智能宠儿——Nvidia Corp.和Super Micro Computer Inc.——股价至少下跌了10%。