注意力机制想要觉醒AI，总共分几步？_风闻

一场疫情，让所有线下会议按下了暂停键，AI也不例外。

但一年一度的“顶会”却不能不开，于是在4月26日，ICLR 2020（国际表征学习大会）就采取虚拟会议的形式，让所有网友得以共襄盛举。

值得一提的是，本次ICLR 大会接受了2594篇论文中的687篇，吸引了来自近90个国家的5600多名参与者，比2019年的2700人翻了一倍还多。不过，受疫情影响，这次大会也没有评选最佳论文。

既然如此，有没有出现什么新鲜事物，值得我们思索和探究的呢？

那就不得不提到图灵奖获得者、蒙特利尔学习算法研究所主任Yoshua Bengio，在其特邀报告中着重强调的“AI觉醒”。

此前我们科普过，通用人工智能有多么遥远。怎么短短几年功夫，人工智能就要觉醒了？这就不得不从被Bengio视作机器学习大杀器的注意力机制说起了。

将意识注入机器：注意力机制再添重任

脑极体的资深读者应该对注意力机制并不陌生。在图像处理、语音识别、自然语言处理等机器学习任务中，近两年来都会引入注意力模型。

这么受业界欢迎，它的特点自然很突出：

一是可以让神经网络学会只关注特定的部分，大幅度提升任务的效果与效率，在神经机器翻译、预训练语言模型、图像识别等任务中都表现出了前所未有的成效。2015年Bahdanau 等人提出注意力机制之后，就被ICLR 录用，如今它的各种变式已经成为机器翻译算法的“标配”。

二是降低机器学习的成本，同时增加可解释性。大家都知道深度学习神经网络的模型训练，往往依靠大规模的数据集，不仅数据获取成本很高，训练的算力、时间也不菲，而注意力机制的“选择性”，能够直接为训练提质增效，并且还能为序列数据建立了权值和映射，从而让输入和输出能够联系起来，避免了算法的“黑箱性”。

既然注意力机制并不是什么新鲜事物，为什么Bengio特意在其报告《与意识相关的深度学习先验》中，将注意力机制奉为圭臬，甚至成了AI的希望？

简单来说，Bengio认为注意力机制能够帮助机器学习模型获得“有意识”的推理。

此前，诸多算法创新（如自监督学习、元学习、多任务学习、迁移学习等）都是在帮助机器学习获得“无意识”，也就是与人类直觉、习惯、先验经验等类似的能力。

有了这种能力，AI可以很快地执行一些直觉型的任务，让人感到非常智能。比如当AI被训练学会了一些隐性知识以后，能够将这些知识内化，在遇到新事物时不需要重新训练，就能够很快适应。举个例子，当AI记住路况之后，它能够自如地跟乘客聊天，同时也不耽误自己随时响应交通状况、安全驾驶。这是不是已经超越许多人类驾驶员了呢？

但如果是在一个全新的道路上开车，如果有人在耳边吵闹，就会打断人类司机的思路，使对方无法集中精力处理。这时候就要用到前面提到的“有意识的”系统，来将一些新的概念，在新的情况下与不熟悉的东西联系起来。

就像《西部世界》的科学顾问、神经学家大卫·伊格尔曼（David Eagleman）所说，意识，是一种突破程序设定的连接。

当机器可以超越设定开始自行推理和思考，适应甚至推断出外界变化发生的原因，这不就是Deloris（《西部世界》女主角）们觉醒的时刻吗？

从这个角度讲，“有意识”的推理能力，正是深度学习变强大所需要的。

从超越人到模仿人，AI的回归之路

既然“操纵”意识这么带感，学者们又是如何为之努力的？过去数年间，注意力机制已经发生了不小的发展和进步。

从时间上看，注意力机制的能力开始为AI所用，要追溯到2014年谷歌团队在一个RNN卷积神经网络模型上用它来进行图像分类。但真正爆发，主要还是由于其在NLP机器翻译任务中证明了自己。

2017年，谷歌机器翻译团队发表的《Attention is all you need》中，提出了一种新颖的基于注意力的机器翻译架构，大量使用自注意力（self-attention）机制来学习文本表征，成为当年最具影响力的论文之一。

随后，它开始被广泛应用在基于RNN/CNN等神经网络模型的NLP任务中，也延伸出了不少变式，比如基于输入项的柔性注意力（Item-wise Soft Attention）、基于输入项的硬性注意力（Item-wise Hard Attention）、基于位置的柔性注意力（Location-wise Soft Attention）等等，核心指导思想都差不多，就是在神经网络的隐藏层，增加注意力机制的加权。

但需要注意的是，注意力机制依然存在不少问题：

比如，注意力机制与其说是一种技术，不如说是一种指导思想。通过模拟人类阅读、听说中的注意力行为，来为不同输入数据分配不同的权重。想要去的比较理想的效果，依然需要大量的数据投入训练。

可以说，注意力机制在神经机器翻译（NMT）任务上的优秀表现，依然建立在有大量高质量语料的前提下。一旦面对比较极端的情况，比如某些语言几乎没有任何双语语料，那再强的注意力机制也得抓瞎。

再比如，注意力机制达到“有意识”推理的前提，是具备理解隐性知识的能力，也就是那些难以用语言、文字、图表进行表述说明，不经过逻辑推理、而是借由感官、直觉、领悟获得的能力。

这对人类来说是“小菜一碟”，但想要将其嵌入到深度学习算法里面，却并不是一件简单的事。DeepMind就曾开发出一个交互式网络，试图教会智能体像婴儿一样迅速了解到某些对象的属性和关系。交互式网络的预测结果要比一般神经网络精确得多，但距离模拟人类直觉迅速反馈，还为时尚早。而且，机器必须犯上成千上万次的错误，才能做出和人类一样的正确操作。

换句话说，Bengio眼中的“注意力机制”，其实是升级版的“注意力3.0”，距离“机器觉醒”还早着呢。

机器觉醒，光靠Attention单打独斗还不行

上述问题不仅阻拦了注意力机制的“封神之路”，也是阻挡人工智能发挥更高价值的障碍。

接下来向何处去，或许正如注意力机制被引入RNN一样，继续主动引入其他领域的算法和模型，会带来不可知的神奇效果。

而从ICLR 2020的技术趋势来看，也有不少算法开始被用来，与注意力机制一起解决诸如直觉、泛化等机器能力的重要问题。

比如元学习。在今年的入选论文中，谷歌有5篇是专门研究元学习。

简单来说，元学习就是要让智能体利用以往的知识经验“学会如何学习”（Learning to learn），然后更高效地完成新任务。

具备这种能力，自然也就能够解决训练数据不足、系统通用性低等问题，帮助AI不断丰富和修正自身的知识网络。具备了这一能力，获得了人类常识的AI才有希望到达“有意识”的推理。

最后，也有必要大开脑洞，试想一下如果“有意识”的推理实现，AI真的觉醒了，又会为人类带来什么呢？

猜想一，AI的服务能力会显而易见的提升，在实践中不断学习处理复杂的工作将不再是难事，想象中的智能家政机器人、智能女友/男友，都不再是问题。

猜想二，AI可以像人类一样推理，同时拥有了情感，那么自然可以缔结自己的社会关系，届时为什么整个社会还需要如我这样的普通人，咱也不知道。

幸好，今天无论是注意力机制，还是人工智能本身，想要复刻人类的脑力还需要更长的时间，以及更多的耐心。更值得欣慰的是，在疫情“黑天鹅”的席卷之下，AI依然带领全球产业者连接、思考、探寻未来的藏宝图，这或许就是技术最令人沉迷之处。