AI安全刻不容缓：换脸骗了430万，小作文坑了科大讯飞56亿_风闻

问道者 李 百

骗子借助深度合成AI技术可以把一位“老朋友”忽悠瘸了，由AI生成的小作文可以让一家上市公司股价暴跌。事实证明，由深度合成和生成式AI技术衍生而来的安全问题已经刻不容缓。

01

AI技术衍生的安全问题

发生在福州的AI诈骗事件至今仍不时刷屏。

一个骗子借助深度合成AI技术，伪装成福州一家科技公司老板的朋友，并和他在通过微信视了频。“朋友”只是想让“资金”借这位老板的公司过个桥，“耳听为虚，眼见为实”有图有真相，10分钟内，老板信以为真，未验证是否收到款，就给这个“朋友”转了430万。

向真朋友核实后，老板方才发现上当报了案。幸运的是，有336.84万元被拦截，但仍有96.16万元被转移。

在这起事故中，使坏的不是AI，而是骗子，骗子利用了时下火爆的深度合成AI技术，从而让人类防不胜防。

由AI衍生的安全问题并非个案。

5月24日，紧跟ChatGPT搞出了星火大模型的上市公司科大讯飞因为生成式AI写作的一篇小作文，导致盘中股价差点跌停，收盘时跌幅4.26%，市值蒸发了56亿。

小作文的题目为“科大讯飞被曝涉嫌大量采集用户隐私数据”，文中还提及“科大讯飞可能通过其语音识别服务非法获取用户个人信息”。

事实是，有百度AI文心一言的用户要求“写一篇科大讯飞出现重大风险的警示文”，这篇小作文最后出现在了一个股票交流平台上，引起股民关注导致股价暴跌。

更早之前，甘肃平凉一位市民利用生成式AI技术，泡制了一条虚假信息发布在网上，引发了一波舆情。

不久前，网上出现川建国被逮捕和泽连斯基投降的照片，后来的事实证明，同样是有人指挥AI造了假。

02

人工智能缺陷逐渐暴露

当下，人工智能产业在全球各地风起云涌，我国也不例外。

工信部发布的数据显示，我国人工智能核心产业规模超过4000亿元，比2019年同期增长6倍多，企业数量超过3000家，比2019年同期增加15%，在制造、交通、医疗、金融等重点行业形成了一批典型应用场景。

比如继ChatGPT之后，我国的高科技企业马上百花齐放。百度先出个了文心一言，随后，科大讯飞出了个星火，阿里出了个通义千问，360出了个智脑，腾讯出了个混元，华为出了个盘古，而更多的企业则在摩拳擦掌跃跃欲试。但林子密了，什么鸟都会有。

深度合成技术能否被合法应用，是关系互联网信息内容安全的大事。虚假信息一直是互联网治理的痛点与难点，深度合成技术的广泛应用对虚拟信息的治理提出了更高的要求。

“以数据驱动的第二代人工智能在可解释性、稳健性方面的缺陷逐渐暴露出来，导致安全事件频发。如何实现高质量发展和高水平安全良性互动，是当前人工智能产业面临的最重要命题。”中国科学院院士、清华大学人工智能研究院名誉院长张钹心怀忧虑。

中国信息通信研究院发布的《人工智能白皮书（2022年）》指出，随着人工智能应用暴露出各种风险和挑战，以及人们对人工智能认识的不断深入，人工智能治理已经成为全球各界高度关注的议题，对可信安全的呼声不断增多。

不能否认，AI本身并不违法，是不当使用AI的人违法了。大势之下，完善相关法律已是迫在眉睫。那么，对于随时可能发生在我们身边涉及AI使用安全问题，我们又当如何防范？

03

国内防范AI滥用的盾

ChatGPT火了之后，国内资本市场人工智能概念也被引爆了。作为防范AI滥用的盾，以网络信息安全为主营的一众高科技企业也嗨得不行，美亚柏科更是其中的典型。

美亚柏科是央企国投集团数字/科技板块的重要企业、国内电子数据取证行业龙头和公共安全大数据领先企业、网络空间安全与社会治理领域国家队。今年来，美亚柏科的股价距离高点已经上涨了超过1倍。

美亚柏科2017年成立AI研发中心，深度开展人工智能技术研究。为了应对利用人工智能技术可能带来的安全问题，2019年针对深度合成技术又特别成立了专项研究团队。

“阻止AI滥用，防止AI作恶，就要发挥技术能力，用‘魔法’打败‘魔法’。”美亚柏科董事长滕达表示，公司聚焦生成式人工智能和AI生成内容的检测识别技术，针对深度合成文本、视频、图像的检测鉴定技术、生成式人工智能技术、人工智能安全取证技术等方面的应用场景，不断打磨出更加安全、可信、可靠的人工智能技术产品，为打击利用人工智能的新兴涉网犯罪提供了技术武器。

比如美亚柏科的“慧眼”视频图像鉴真工作站，就是一面坚硬的盾。实践表明，它支持当前绝大部分深伪视频图像篡改方法的检测，检测精度处于国内领先水平。它不仅对利用传统伪造手段篡改的影像能生成理想的鉴定效果，对利用深度伪造技术进行换脸、美颜、生成人脸、同图或异图复制篡改的影像同样像火眼金睛，一鉴洞穿。

美亚柏科提醒网民，凡是跟钱有关的事情不妨多一个心眼，一定要通过多种方式确认对方的身份。同时也要关注个人的信息安全，不随便点击不明的短信链接、邮件链接，不随意扫描不明来源二维码、下载APP，还要特别注意不轻易提供人脸等个人生物信息给他人。