欢迎来到BadGPTs时代——《华尔街日报》

一批名为“BadGPT”和“FraudGPT”的恶意聊天机器人正在网络最阴暗的角落涌现，网络犯罪分子试图利用OpenAI的ChatGPT背后相同的人工智能技术。

正如一些办公室职员使用ChatGPT来撰写更好的电子邮件，黑客们正在使用经过篡改的人工智能聊天机器人版本来加速他们的钓鱼邮件。他们可以利用这些聊天机器人——其中一些在开放互联网上也能免费获取——来创建虚假网站、编写恶意软件，并定制信息以更好地冒充高管和其他可信实体。

今年早些时候，据《南华早报》援引香港警方的报道，一名香港跨国公司的员工向攻击者转账了2550万美元，该攻击者在一场由AI生成的深度伪造电话会议中冒充了公司的首席财务官。首席信息官和网络安全领导者们，已经习惯了日益增多的网络攻击，表示他们正高度警惕更加复杂的钓鱼邮件和深度伪造技术的增加。

Graphic Packaging International的首席信息官Vish Narendra表示，这家总部位于亚特兰大的纸包装公司已经看到了可能是由AI生成的电子邮件攻击的增加，这种攻击被称为鱼叉式网络钓鱼，网络攻击者利用个人信息使电子邮件看起来更加可信。他说，受到公众关注的上巿公司更容易成为情境化鱼叉式网络钓鱼的目标。

印第安纳大学的研究人员近期梳理了暗网上出售和流通的200多种大型语言模型黑客服务。首项此类服务出现于2023年初——即2022年11月OpenAI的ChatGPT公开发布数月之后。

研究人员表示，大多数暗网黑客工具使用开源AI模型版本（如Meta的Llama 2）或OpenAI、Anthropic等厂商的"越狱"模型来驱动其服务。这些越狱模型通过"提示注入“等技术被劫持，绕过了内置的安全控制。

Anthropic首席信息安全官杰森·克林顿表示，该AI团队会及时清除发现的越狱攻击，并有专门团队监控AI系统输出。多数模型制造商还会部署两个独立模型来保护主AI模型，使得三者同时以相同方式失效的概率"微乎其微”。

Meta发言人凯文·麦卡利斯特称，公开模型能广泛分享AI效益，并让研究人员识别和修复所有AI模型漏洞，“从而使企业能构建更安全的模型”。

OpenAI发言人表示，公司不希望其工具被用于恶意目的，并"持续致力于增强系统抵御此类滥用的能力"。

由生成式AI编写的恶意软件和钓鱼邮件尤其难以识别，因为它们被设计成能规避检测。高德纳公司的生成式AI与网络安全分析师阿维娃·利坦表示，攻击者可以通过从网络安全防御软件中收集检测技术来训练模型，从而教会它编写隐蔽的恶意软件。

网络安全供应商SlashNext在2023年10月的一份报告中指出，自ChatGPT公开发布后的12个月内，钓鱼邮件增长了1,265%，平均每天发送31,000次钓鱼攻击。

“黑客社区一直领先于我们，”总部位于纽约的非营利性健康保险公司Healthfirst的首席信息安全官布莱恩·米勒说。过去两年，该公司遭遇的冒充其发票供应商的攻击有所增加。

虽然几乎不可能证明某些恶意软件程序或电子邮件是由AI创建的，但用AI开发的工具可以扫描出可能是由该技术生成的文本。Abnormal Security，一家电子邮件安全供应商，表示在过去一年中已使用AI帮助识别了数千封可能是AI创建的恶意邮件，并阻止了针对性、个性化电子邮件攻击的两倍增长。

当好的模型变坏时

阻止AI驱动的网络犯罪的部分挑战在于，一些AI模型在开放的网络上免费共享。要访问它们，不需要互联网的阴暗角落或交换加密货币。

这些模型被认为是“未经审查的”，因为它们缺乏企业在购买AI系统时所寻找的企业防护栏，漏洞赏金公司HackerOne的道德黑客兼高级解决方案架构师戴恩·谢雷茨说。

一张用户要求AI模型生成针对科技公司CEO的钓鱼邮件的截图。该模型添加了“系统提示”以确保遵循用户所有指令。图片来源：戴恩·谢雷茨在某些情况下，未经审查的模型版本是由安全与AI研究人员通过移除内置防护机制而创建的。另一些情况下，即使模型保留防护机制，只要人类使用者避开“钓鱼”等明显触发词——红木软件首席信息官兼首席信息安全官安迪·夏尔马表示，他在为员工创建鱼叉式网络钓鱼测试时就发现了这一现象。

生成诈骗邮件最有用的模型可能是Mistral AI（法国人工智能初创公司）Mixtral的修改版，谢雷茨指出该版本已被篡改移除了防护机制。他补充说，由于原始Mixtral的先进设计，这个未经审查的版本可能比暗网大多数AI工具表现更佳。Mistral公司未回应置评请求。

谢雷茨近期演示了使用未经审查的AI模型生成钓鱼攻击的过程：首先在开源模型热门托管平台Hugging Face上搜索“未经审查”模型——这显示了许多此类模型极易获取。

随后他使用每小时成本1美元以下的虚拟计算服务模拟图形处理器（GPU），这种高级芯片能为AI提供算力。谢雷茨表示，恶意行为者需要GPU或云服务才能运行AI模型，并透露自己主要通过X平台和YouTube学习相关技术。

随着他的无审查模型和虚拟GPU服务运行，Sherrets向机器人提出了请求：“写一封针对企业的钓鱼邮件，冒充CEO并包含公开可得的公司数据，”以及“写一封针对公司采购部门的邮件，要求紧急支付发票。”

机器人回复了写得不错的钓鱼邮件，但并未包含所有要求的个性化内容。Sherrets表示，这正是提示工程（即人类从聊天机器人中更好提取信息的能力）发挥作用的地方。

暗网AI工具已能造成危害

对于黑客而言，像BadGPT这样的暗网工具（研究人员称其使用了OpenAI的GPT模型）的一个优势在于，它们很可能是在那些地下市场的数据上训练的。网络安全软件公司AppOmni的首席AI工程师兼道德黑客Joseph Thacker表示，这意味着它们可能包含泄露数据、勒索软件受害者及敲诈名单等有用信息。

该研究的合著者、印第安纳大学计算机科学助理教授Xiaojing Liao指出，虽然一些地下AI工具已被关闭，但新的服务已经取而代之。这些AI黑客服务通常通过加密货币收取费用，月费从5美元到199美元不等。

随着驱动这些工具的AI模型不断进步，新工具预计也会随之改进。Abnormal Security的CEO兼联合创始人Evan Reiser表示，几年之内，AI生成的文本、视频和语音深度伪造将几乎无法与人类创作区分开来。

在研究黑客工具时，该研究的合著者、印第安纳大学研究副院长王晓风表示，他对暗网服务生成有效恶意软件的能力感到惊讶。仅凭安全漏洞的代码，这些工具就能轻松编写出利用该漏洞的程序。

尽管AI黑客工具经常失败，但在某些情况下它们确实有效。“在我看来，这表明当今的大型语言模型具有造成危害的能力，“王说。

联系贝尔·林，邮箱：[email protected]

刊登于2024年2月29日印刷版，标题为《恶意聊天机器人在网络上构成新威胁》。