为什么这个黑客攻入银行系统，却只黑了一分钱？_风闻

原创：谭婧

世上总会有骗子，人工智能时代也不例外。想起《天下无贼》里葛优说的那句：「我最烦你们这些打劫的了，一点技术含量都没有。」

在人工智能的骗局里，最不缺的就是技术含量。

当人工智能自动合成语音软件，模仿熟人的声音给你打电话的时候，还可以安慰自己“耳听为虚”。扭脸间，人工智能又在视频中给主人公换脸，让“眼见为实”变得十分尴尬。不过，博弈始终存在，人类也会欺骗人工智能，甚至攻击。

欺骗AI图像识别的低级套路，早已问世

比较常见的欺骗人工智能的套路是，在摄像头识别人脸时，在面部上贴上特殊纹路的纸片，这样人脸识别技术可能会失效，识别不出来，或者识别错误。请脑补，人们打扑克的时候会在额头和脸上贴纸条的惩罚方法。当然，不仅机器识别不了，贴多了，老妈也识别不了。再比如，一张喵星人的图片，经过有效的恶意攻击，人工智能可能将喵星人误判为一只汪星人。这种欺骗应用在自动驾驶领域会有极危险的情况。假如对无人驾驶汽车的视觉系统进行攻击，识别错误交通标志，可能会引发交通事故，传感器再多也防不住。这种恶意的攻击是在哪里动手脚呢？有的方法是将图片的像素值做一些微小的、人眼观察不到的变换，会使人工智能「晕了」。

黑客再出击，如何攻破机器学习模型？

如何有技术含量的欺骗人工智能？如何攻破机器学习模型？这个问题正在被前沿学术界所关注。众所周知，人工智能的深度学习技术已经成了警队的「天眼」，在特定环境下准确识别人脸图片的能力超过了人类。但是，在鲁棒性和泛化能力方面有缺陷。这种缺陷在不同环境下，会引发不同的问题。所以，有效地去攻击现有的机器学习模型是可能的。街角电线杆子，膏药小广告上写着：缺钱吗？朋友，骗过银行人工智能，实现贷款100万的授信额度。如果当黑客拥有了一项技术，可以攻击全天下计算机系统里的机器学习模型时，最想攻击哪里？人性的贪婪的目光总会落在银行身上。如果说武装劫匪的目标是银行大厦里的金库，那么互联网银行就是黑客的目标。

若要实现小广告所示的黑产业务，作案时需要满足两个条件：条件一：某互联网银行的客户信用积分是用深度学习技术计算的，该银行信用系统中人工智能深度学习技术对转账人信用值这个特征非常敏感。在该银行信用系统的人工智能深度学习模型中，有没有与土豪的往来转账记录，将会作为贷款人贷款级别高低的一个依据。这一关键“特征”的改变会影响贷款额度。条件二：黑客为了欺诈贷款，想方设法让土豪转了一分钱，虽然只有一次转账，虽然交易数额极低。在一和二这两个条件都满足的情况下，恶意攻击取得胜利。一夜暴富的状况出现了：凭借土豪一分钱的转账记录，黑客改变了自己的信用评分。顷刻，银行信用系统识别将黑客判定为尊贵的高净值客户。一分钱的硬币，掉在路边都没有人去捡。但是，这一分钱的转账在“图结构”中，相当于与富豪有一条边相连。如果银行信用系统中人工智能深度学习技术对转账人信用值这个特征非常敏感，这一条边的增加，则举足轻重。其结果，可以是让黑客在顷刻间，拥有了可以向银行贷款100万的信用额度。这项攻击可以将金融机构置于巨大风险之下。如何解决呢？很遗憾，迄今为止没有办法彻底解决。不过为了解决这个问题所作的第一步的努力，是找到现有深度学习技术在这方面的漏洞，也就是神经网络脆弱的地方。学术界对此也非常关注，有一篇人工智能的顶级会议论文对这个问题进行了研究。论文出自清华大学朱军和美国佐治亚理工大学宋乐的研究团队，论文标题是《对抗性攻击用于图结构数据（Adversarial Attack on Graph Structured Data）》。这篇论文被收录于第三十五届ICML人工智能顶级学术会议，属于前沿研究领域。

为什么选择图结构数据？

金融交易网络等其数据天生就适合于图表达。银行的交易网络天然的就是图结构。图（graph）是什么？图通常由一些结点（nodes）和连接这些结点的边（edge）组成。详细地说，节点（node）通过边（edge）连接，图是互连节点的集合。图（graph）是表示一些对象（objects）与另一些对象之间相互连接的结构。图结构具有强大的表达能力，许多实际问题可以用图结构来表示。而图结构中的节点和关系就像图像和文本数据一样是到处都存在的数据。图，是一种数据结构，它对一组对象（节点）及其关系（边）进行建模。图上的表征学习，逐渐变成机器学习的一大核心领域。卷积神经网络是深度图像学习技术之一，图卷积神经网络（GNN）是将卷积神经网络技术拓展、升华到更通用的图结构数据，它已被广泛的应用到各大互联网、金融、生物医药公司。图里的节点可以是用户账号、电子邮箱、WIFI设备、天猫旗舰店、公司、车站，甚至可以是变电站。如果你在淘宝购买了一支口红，你（购买者）、香奈儿官方旗舰店（淘宝商铺）这两者都是可以是节点，而购买行为是边。一次网购可以用一个简单的图来表示，两个节点一条边。一次转账也可以用一个简单的图来表示，两个节点一条边。关系数据是图计算的一个基本的数据。没有关系数据，图计算就是胡扯。

在纷繁复杂的算法世界中，图数据又复杂，又普遍存在。图数据有自己的特点，蕴含的信息极其丰富，极具价值。可以说，图数据是一座宝藏。例如谷歌的搜索业务也用到了图计算，或者可以说，谷歌的成功起步于这个算法。想知道网页（就是节点）的重要性程度，需要有个PageRank的算法。为什么搜索到的这么多网页有的要被放在搜索的首页。因为有了定量的分数，才可以对网页排序。所以，图计算的算法一直在默默地改变世界。

深度学习有缺点？别放弃治疗。

在人工智能的世界里，深度学习正处在巅峰。2019 年 3 月 27 日，计算机权威机构ACM 宣布，深度学习的三位创造者 Yoshua Bengio，Yann LeCun，以及 Geoffrey Hinton获得2019 年的图灵奖。图灵奖也爱上了深度学习。可以说深度学习是人工智能世界里最好用的“铲子”。

从人脸识别、内容推荐到疾病诊断，以及自动驾驶，深度学习在决策中发挥着非常重要的作用。现在的问题不仅仅是深度学习如何使用，也应该考虑当神经网络和深度学习算法大规模应用之后，它们特有的安全威胁是什么？黑客找到这些漏洞，然后攻击深度学习模型，后果不堪设想。罪犯从监控摄像头下逃之夭夭，自动驾驶汽车误识交通标志，当街撞人。

所以，需要对深度学习进行对抗性研究。

“对抗性攻击（adversarial attack）”一词最早是在2014年，由谷歌公司人工智能研究人员Christian Szegedy带领的研究小组在论文中提出的。在一辆校车的图片上加上一层对人类来说无形的数据噪声，就是那种人眼看不出来不同的噪声，结果神经网络就被骗了，傻兮兮地认为，它几乎可以肯定校车是一只鸵鸟。这么容易被骗，那还了得，所以，研究人员会开始从对抗的角度来研究它，因为深度学习技术越来越普遍了，有缺陷得早点治疗。论文《对抗性攻击用于图结构数据》的摘要部分提到，“图结构的深度学习算法在各种应用中取得了令人兴奋的结果。然而，对这些模型的鲁棒性研究还很少，对图像或文本的抗攻击和防御性的研究也很少。在这篇论文里面提出了三种方法：基于强化学习的，基于遗传算法的以及基于梯度近似的。数据表明，图神经网络模型容易受到这些攻击。”该论文对图深度学习鲁棒性及对抗性攻击进行了开创性的研究。

用强化学习的方法，找到漏洞。

论文通讯作者是美国佐治亚理工大学计算科学与工程系终身副教授宋乐。他也是国际机器学习协会董事会成员之一，及第35届机器学习技术国际会议（ICML）署名论文数量排名第三的作者，与其他两位科学家并列。

宋乐教授认为，强化学习的目的是找到一个策略从而最大化累积回馈(Maximize accumulated reward)。强化学习能够通过和环境交互变得越来越聪明。例如黑客不断地试探支付宝芝麻信用的打分机制或者某银行的信用机制，去尝试提高信用分值。用强化学习的方法来寻找图深度学习模型的漏洞的过程也需要反复试错。这种方法非常有效，在金融机构内部安全演练中也在使用。比如，为了寻找系统漏洞，也会进行红方和蓝方模拟相互间的攻击，来不断的提高系统安全性能。论文的方法，用一句话来概括就是：用一个聪明的算法，尝试较少的次数，成功地找到深度学习网络的漏洞。“尝试较少的次数”一词需要稍加解释，论文里面的“次数”主要是关注修改尽量少的图上的边。比如只需要让巴菲特或者马云给你转一次账，而不是让一群土豪给你转账很多次。”这里还需要对图数据中节点（node）的重要性进行描述，提炼成表征的描述，强化学习会生成一个策略，比如在网络中给某个节点加一条边，那就是在图结构的数据中，网络中要和谁连接的问题。如果转化成互联网银行的实际业务问题，简单说来，就是“谁转账给你或者你转账给谁？”论文一作为戴涵俊博士，现为谷歌大脑的研究员。戴涵俊博士介绍，“论文重点考虑，怎么降低选取一条边策略的复杂度？在一个有N个节点的图中选取一条边的选择空间有O(N^2)。如果一个金融网络中有1万个用户，那选择空间就是1亿种可能性。我们把这个巨大空间的选择分成两步来完成，即第一步选边的起点，第二步在第一步的基础上选边的终点，从而把复杂度降低到O(N)。”

论文的关注点在于图的结构方面。比如针对某个人的社交关系进行修改。从学术角度讲，就是论文中考虑的对图的修改可以是对已有的边删除，也可以是添加新的边。所以，当攻击行为摸索到图深度学习模型的规律，很可能会发生：土豪转账给你，哪怕只有一分钱，也有可能提高你的授信额度。但是更可怕的攻击行为是，马云给马化腾转账了一分钱，从而使你获得贷款100万元的授信额度。因为从图结构数据的本质来理解，对社交关系进行修改，可以是比如跟你加好友，删好友，以及转账给某人。这一小小的动作，也是一种改变网络的一种方式。说到底，所有的攻击如果想通过最少的步骤（次数）来完成，都是一个优化问题。论文还提到了其他攻击方法，也就是强化学习之外的方法，包括随机（Random）攻击，基于遗传算法的攻击和基于梯度近似的攻击。按葛优的理解，都是“技术含量极高”的手段。攻击行为可以理解为一种试错行为，一次试错，一次回馈，但是很难窥见模型的全貌。如果攻击者可以访问有关基础模型参数和架构的信息，以及算法及其所使用的参数，则称为白盒攻击。如果攻击者无法访问已部署的模型体系结构等，则该攻击称为黑盒攻击。这些都是高水平的攻击方法。当然，除了高级的，也有比较简单的攻击方法，比如对图的节点的攻击，也就是攻击贷款人。例如，赵先生的年龄是36岁，通过篡改年龄，将其年龄改为16岁，那么一个中学生的还款能力可想而知，遭受攻击后赵先生的授信额度无辜地受到了负面影响。这种类型的攻击，和文章开头提到的欺骗计算机视觉技术的手法的难度类似，对修改图像数据中的像素点，把猫识别成狗。

在了解了攻击人工智能的招式之后，我们不难发现人工智能机器学习的鲁棒性和泛化能力，关乎金融机构系统安全性，又关乎抗风险能力。土豪转账一分钱，贷款额度瞬间涨。值得欣慰的是，对人工智能技术的攻击已经在前沿科技研究者的视线范围之内。论文作者宋乐教授总结道，“论文的结论包括，论文中设计的方法对图深度学习攻击有效，图深度学习鲁棒性还有待提高”。

（完）

参考文献：《learning Combinatorial Optimization Algorithms over Graphs》，Hanjun Dai, Hui Li, Tian Tian, Xin Huang, Lin Wang, Jun Zhu, Le Song