中国打击人工智能驱动的诈骗激增——《华尔街日报》

中国国家互联网信息办公室已开始执行限制深度合成技术使用的规定。图片来源：Thomas Peter/REUTERS人工智能正深入中国人的日常生活——包括激增的AI诈骗。

北京对互联网实施全球最严格的监管措施，在遏制超逼真AI生成内容使用方面已成为先行者。

最近几周，全国警方通过官方社交媒体账号警示，犯罪分子利用AI软件生成欺诈文本并冒充目标受害者的亲友。

今年四月，郭姓男子在微信上接到冒充者的视频通话。诈骗者伪装成郭某好友，说服他在10分钟内向内蒙古某银行账户转账约60万美元。转账后联系朋友确认时，他才意识到受骗。

“我们进行了视频通话，我确认了画面中的面容和声音，所以放松了警惕，“内蒙古警方在社交媒体通报中引述郭某的陈述。

郭某向福州警方报案后，当地警方联系了诈骗分子开户的内蒙古警方。据警方微信通报，当局已拦截大部分资金转移，并正追回剩余款项。

同月，据当地国有报纸《新安晚报》报道，中国东部安徽省警方拘留了利用AI换脸和语音合成技术诱骗一名男子向所谓"好友"转账大额资金的诈骗团伙。

全球监管机构一直在努力治理所谓的"深度伪造"技术，这种技术可将图像、音频或视频中的人物替换为他人。中国迅速出台了相关规定，并利用现有技术手段追踪AI诈骗分子。

今年1月，中国国家互联网信息办公室开始实施新规，禁止使用AI生成的图像、音频和文本传播虚假信息或违反法律法规、破坏经济秩序、危害国家安全的内容。这些宽泛的定义为监管部门提供了较大裁量空间。

郭先生的遭遇引发社会强烈共鸣。5月警方通报案情后，微博平台上#AI诈骗正在全国爆发#话题迅速登上热搜。该话题现已被屏蔽，表明审查机构试图限制相关讨论。搜索该主题会显示"根据相关法律法规和政策，搜索结果未予显示”。

字节跳动旗下抖音平台（TikTok中国版）于5月提出平台规范与行业倡议，包括呼吁同业禁止使用AI软件制作虚假内容和谣言。

中国当局近几周加大了对人工智能聊天机器人生成虚假信息的打击力度——这些虚假信息有时似乎模仿了此前引发社交媒体风暴的事件。

上个月，在甘肃省，当局拘留了一名男子，据称他利用网上搜集的新闻片段，在ChatGPT上编造了一起不存在的火车事故文章。警方称，他将文章发布在一个博客聚合平台上，该平台允许用户根据流量分享广告收益。警方表示，该文章获得了1.5万次浏览。

政府对2011年华东地区两列动车相撞事故的处理曾引发广泛愤慨。

同样在5月，河南省当局指控一名男子为博取点击量，利用ChatGPT编造了餐馆暴力斗殴的虚假信息。这些由ChatGPT生成的标题谎称一名女子在斗殴中被男子用砖块击中头部后死亡。

这些标题让人联想到去年疯传的一段视频，视频显示一群男子在餐馆殴打几名女子，该事件曾引发关于针对女性性别暴力的激烈网络讨论。

ChatGPT的研发公司OpenAI未将中国列入该聊天机器人的服务国家名单，但许多人已通过虚拟专用网络找到绕过限制的方法。

ChatGPT的流行在中国掀起热潮，受两年监管整顿和经济疲软冲击的科技企业视该技术为新的增长驱动力。

搜索引擎运营商百度、电子商务公司阿里巴巴集团以及人工智能企业商汤科技均已推出自研大语言模型——这项支撑ChatGPT的基础技术。其他科技公司也正探索如何将该技术整合至产品中。

各国政府普遍担忧类ChatGPT服务可能传播歧视性或有害信息。当多国监管机构开始探索如何管控这波生成式AI技术浪潮时，中国已构建起审查聊天机器人的监管框架。

国家网信办于四月发布新规草案，要求企业在推出AI聊天机器人前需通过安全审查。根据该草案，企业有责任确保其AI服务生成的内容真实准确，且符合中国共产党的政治价值观。

联系记者沈璐：[email protected]

本文发表于2023年6月5日印刷版，标题为《AI驱动的欺诈行为在中国引发关注》。