东南亚“杀猪盘”使用AI：语言模型尚不够聪明，与受害者网聊时自曝了身份_风闻

澎湃新闻

2024年05月18日 21:06:07 来自上海

0人参与0评论

东南亚犯罪集团正在所谓的“杀猪盘”网络诈骗行动中使用生成式人工智能聊天机器人，这种更复杂的手段可以提高诈骗的有效性，并将扩大受害者的范围。

所谓的“杀猪盘”，是网络诈骗的一种新方式，犯罪分子通常潜伏在约会应用程序和社交平台中，将浪漫爱情和赌博心理融入其作案手法。诈骗分子对受害者进行数天甚至数月的网络亲密接触，然后才“收获”诈骗果实，这一过程类似于将猪养肥以供屠宰。

聊天机器人在情绪和感受上“露马脚”

据澳大利亚广播公司（ABC）5月16日报道，犯罪分子过去通常会使用详细的“脚本”来获得受害者的信任，而现在他们利用大语言模型（LLM）或聊天机器人，用不同语言向受害者发送消息，进一步扩大了影响范围。生成式人工智能还可以使对话更有说服力，并减少诈骗分子与多个受害者互动的工作量。

虽然ChatGPT、Gemini和Copilot等主要人工智能聊天机器人都有防止其协助非法活动的护栏，但其他一些正在开发的大语言模型没有此类限制。

网络安全公司Sophos的研究人员贾格迪什·钱德拉亚（Jagadeesh Chandraiah）在一篇博客文章中表示，生成式人工智能将文本、图像、视频与翻译相结合，生成不重复的“定制内容”。它还可用于编写“杀猪脚本”，写出令人信服的网络钓鱼电子邮件，甚至提供如何从头开始进行诈骗的步骤说明，这也可能降低诈骗犯罪的门槛。

然而，犯罪集团似乎还无法熟练地使用人工智能。研究人员发布了一张诈骗目标提供的屏幕截图，显示诈骗分子意外透露了他们正在使用大语言模型来生成消息。骗子在给目标客户发送的WhatsApp消息中写道：“非常感谢您的善意之言！’我’作为一个语言模型，没有像人类那样的感觉或情绪，我被创造出来提供有用和积极的答案帮你。”

钱德拉亚告诉ABC，人工智能的运作仍然需要人类协助，机器人偶尔会发送一些信息，可能表明它们无法与人类交流，尤其是在感受和情绪方面。“就’杀猪盘’而言，目前的模型不太擅长描绘情绪和感受，而这又是此类骗局得以成功的关键。”

但钱德拉亚认为，未来随着人工智能的进一步发展，受害者将很难识别他们正在与机器人进行通信。

AI实时换脸已成精准聊天必备

除了最新的聊天机器人，一些传统的人工智能技术，比如深度造假技术近年来也迅速进步，已达到可以用较高的逼真度完成实时对话的水平。前黑客、越南网络安全专家吴明晓（Ngô Minh Hiếu）表示，用户现在可以通过开源软件或付费方式轻松订阅实时换脸技术（一种仅改变对象脸部的深度造假技术）。

全球反诈骗组织（GASO）向ABC提到，一家软件提供商在广告中宣称其“人工智能实时换脸是精准聊天的必备”。广告称，“它解决了好看的（真人）模特难以招募和管理、成本高昂的问题。”该软件还集成了语音克隆功能，对特定目标的模仿相似度可以达到“60％至95％”。

另一家换脸软件提供商在柬埔寨提供7天24小时支持、“送货上门”服务，并声称已在1000多个区域安装了其产品。该广告称，使用该系统只需要提供一张照片，可用于WhatsApp、Messenger、Line等社交平台上的视频通话。

除了“杀猪盘”之外，犯罪分子还利用换脸技术实施其他类型的诈骗，例如冒充名人进行投资诈骗，以及冒充家人或警察来恐吓受害者付钱。它还可以用来逃避一些金融机构要求的基于视频的身份检查。

澳大利亚阳光海岸市市长罗珊娜·纳托利（Rosanna Natoli）最近称，一名诈骗者使用该技术冒充她与她的一位朋友进行Skype通话。她说：“这位朋友告诉我，这看起来像我，但听起来不像我。”

“大多数换脸应用程序都无法伪造实时声音。”一位了解柬埔寨诈骗情况的消息人士向ABC表示，技术能力、计算能力和互联网带宽等往往限制了诈骗分子使用换脸技术。“（在许多情况下）聘请东欧模特更为实际。”他说，尽管技术进步，镜头前的真人仍然看起来更合理。

在缅甸，从事加密货币“杀猪盘”业务的Sam在采访中说，他的老板曾短暂尝试过人工智能，因为越南模特逃跑了。老板希望应用程序能够以数字方式改变团队中讲英语成员在视频通话中的外观，但没有足够的源照片来支撑应用程序运行。

“用头脑思考，而不是用心思考”

上个月，澳大利亚竞争和消费者委员会（ACCC）反诈骗中心表示，虽然2023年统计的诈骗数量比2022年有所增加，但损失总额下降了13.1%，至27.4亿澳元（约合132.7亿元人民币）。然而，ACCC发言人仍然对新技术的出现发出警告，“诈骗手段日益复杂，我们应该对人工智能带来的风险保持警惕。这将使得人们更难识别诈骗，平台应继续谨慎处理任何个人信息或金钱请求，并在点击链接时保持谨慎。”

该发言人表示，迄今为止大多数关于利用人工智能进行诈骗的案例都是以社交平台网站上“聊天机器人”的形式出现的。“这些机器人给人留下这样的印象：许多其他真实的人对该产品感兴趣，并从骗局中获得经济利益。”此外，“人工智能还被用来制作投资诈骗视频，通常会捕捉或制作名人的图像或镜头，并附上让人信服的音频。”

与诈骗受害者合作的Intelligence for Good的网络犯罪专家罗尼·托卡佐夫斯基（Ronnie Tokazowski）表示，过去表明某人是诈骗者的一个关键危险信号是他们拒绝进行视频通话。“但现在坏人已经找到了解决办法。“他说，最好的建议是不要向仅在网上认识的人汇款或收款。

“我们需要开始用头脑思考，而不是用心思考。”钱德拉亚说，“即使感觉很真实，而且这种关系已经持续了一段时间，但如果它起源于互联网，并且慢慢转向涉及金钱或加密货币的问题，那就远离它。”