AI发展出人类无法理解的语言 脸书关闭“失控”项目

（译/弗格森）Facebook上个月引起广泛争议的“开发出人类无法理解”的沟通的智能对话机器人项目已经被关闭，因为研究者担心会“失控”。

根据digitaljournal网站21日的报道，Facebook上个月引起广泛争议的“开发出人类无法理解”的沟通的智能对话机器人项目已经被关闭。随后，多家科技媒体也报道了这则消息。

上个月，Facebook 人工智能研究所（FAIR）使用机器学习方法，对两个聊天机器人进行对话策略迭代升级，结果发现它们竟自行发展出了人类无法理解的独特语言。研究者不得不对其进行了人工干预。

6月20日，美国《大西洋月刊》公布了其中一段聊天记录

这一研究一经发布，迅速在网络和媒体上引起了广泛的关注和传播，不少人在惊呼：机器创造了自己的语言，人类都无法理解，细思极恐。

但是也有人指出，这不就是一堆乱码吗？

现在，这一系统被关进了“小黑屋”。根据国外媒体的报道，现在Facebook 的研究院已经停止了这一项目的研究，原因是“担心可能会对这些AI失去控制”。

这不是第一次发现 AI 偏离训练所用的英文，转向发展出新的更加有效的语言。虽然在人类看来，这些沟通更像是胡言乱语。但是，从AI 智能体的角度上看，他们实际上是有词义意义的。

用新的语言进行沟通：英语缺乏“反馈”

这篇研究报告的主旨是说机器人可以成为不错的谈判者——他们甚至会假装对某件没有价值的东西感兴趣，然后在谈判过程中牺牲掉它，好像做出了让步。而关于对话智能体发展出自我语言的部分，在研究报告中确实只是一鳞半爪，但却引发了大家的关注。

正如Fast Co. Design报道，研究员注意到，系统中的聊天机器人（bots）完全放弃了用英语进行交流，但是，升级版的系统确实能够与其他的智能体进行交流。他们一起可以决定如何继续进行任何工作。一开始，他们所使用的词汇似乎是无法理解的，但是，通过长期的观察，研究者发现，这些词汇其实代表了智能体面临的任务。

例如，在一次交流中，两个进行对话的机器人——Bob 和 Alice，使用自己创造的语言来完成了交流。Bob 开始说：“I can can I I everything else”。Alice回答，“Balls have zero to me to me to me to me to me to me to me to me to。” 接下来的对话都是类似这样的句子。

虽然这些词语组合第一眼看上去没什么实际意义，但是，研究者认为，他们揭示了两个机器人是如何工作的，每一个词汇他们需要进行多少次处理。Bob的重复说明了他如何使用这一词汇，来向Alice传递更多的信息。如果用这种方法来进行阐述，那么它所说的那就好就有点像人们所说的“I’ll have three and you have everything else”。

看起来，似乎智能体们发现，英语的句子对于特定场景的理解并不是必需的。当下，以深度学习为主的AI 遵循的是“回馈”（reward）原则，智能体通过依照一系统特定的行为行动，会获得相应的利益（benefit）。但是，在这一场景中，继续使用英语并没能带来相应的回馈，所以智能体决定适应更加高效的方法进行沟通。

Facebook AI Research (FAIR)的研究员对FastCo. Designs说，“英语语言中，并没有所谓的回馈能让智能体来遵从。”

FastCo. Designs报道称：“智能体会偏离自己人类能理解的语言，创造出自己的‘代码语言’。比如，如果提到‘the’ 5次，那么就是我想要复制这一术语5次。这和人类创造的缩写其实也没有多大的差别。”

其他的AI开发者也注意到了智能体会使用“缩写”来简化沟通。在Open AI，研究者成功地让AI机器人学会自己创造的语言。

问题在哪

如果AI继续创建自己的语言，开发人员可能会在创建和采用新的神经网络时遇到问题，但是不清楚这是否会让机器实际上推翻其研发者。

然而，这些新的发展使得AI能够更有效地工作，并且如果他们在工作中学习新的AI创建的“缩写”，并保持最新的这种新的沟通方式，可以使研究团队长期受益。（本文转自新智元）