对话网易伏羲AI研究负责人：AI入局，如何改变游戏的未来？
周昊
（观察者网讯 文/周昊 编辑/庄怡）从雅达利公司在1972年推出第一款电子游戏《Pong》开始，由电脑控制的AI就成为了游戏内容中不可或缺的一部分。
半个多世纪以来，虽然电子游戏的载体和形式发生了翻天覆地的变化，但基于游戏开发者制定的规则并运行的“传统游戏AI”实际上并未跳脱出它一开始所诞生的范畴——“什么情况下做什么的若干规则的整合”。
直到近些年，大幅进步的人工智能通过不断在游戏内进行验证，在大幅提升自身技术的同时，也为游戏行业带来了一场新的“智械危机”。
游戏之内：近乎无解的高手
今年十一假期期间，网易旗下国产端游《永劫无间》进行了一项新的测试，有着“新员工”之称的“噩梦AI”在短短五天内便击败玩家上亿次，提前完成了业绩指标。
《永劫无间》噩梦AI发布战报
“噩梦AI”是一个目标被设定为在取胜的同时“如何在实战中高效击败玩家”的人工智能角色，通过学习，“噩梦AI”不仅能够在游戏中熟练使出各种高难度操作，甚至还能观察当前的对局环境、战场态势等，并做出提升寻路效率、采用迂回作战等对应的最优解。
需要注意的是，“噩梦AI”强大的对局能力并非是通过读取后台数据“作弊”来实现，而是通过对游戏进程推进观察所做出的实事应对；换言之，从玩家角度来看，与之对局的“噩梦AI”其行为模式更像是一个“游戏超级高手”。
网易伏羲AI研究&技术落地负责人吕唐杰在接受《观察者网》采访时确认，此次《永劫无间》噩梦人机模式背后的AI是结合深度神经网络及强化学习方法，在设定任务目标后，通过AI之间的自我对弈训练，最终人为挑选后产生，AI在游戏中获取的数据范围及数值属性，与真实玩家间不存在差异。
“噩梦AI”取得的超神战绩事实上仅仅是近年来AI技术进入游戏产业后的一个缩影。过去数年间，AI技术已经从环境相对简单的棋牌类游戏进入到对局信息更为复杂的对抗类游戏之中。
比如2016年AlphaGo横空出世，成为首个击败人类围棋世界冠军的AI；随后在《王者荣耀》、《星际争霸2》、《Dota 2》等复杂对局类游戏中，AI组成的队伍也连续击败了大量职业战队。
腾讯AI Lab游戏AI研发中心总监付强曾分享过一组数据：《王者荣耀》的AI“绝悟”初进入游戏时只会在泉水发呆，但两个小时后就能够打赢内置规则的传统AI；当学到20个小时后基本可以达到王者水准，而学习达到100多个小时后，“绝悟”已经可以在固定阵容上比较容易打赢职业选手，“‘绝悟’一天的训练量就相当于人打游戏150年，在游戏内的胜率更是超过了98%”，付强表示。
吕唐杰也向《观察者网》强调，AI技术跟游戏本身是一种相辅相成的关系。游戏作为研究和验证AI技术的绝佳场景，在AI技术的发展过程中起到了至关重要的作用，无论是最初的AlphaGo、还是后来的OpenAI Five、AlphaStar等，AI研究团队都是通过复杂的游戏场景来反复打磨AI算法、验证技术效果，这极大地促进了AI行业算法、模型结构以及大规模分布式计算等技术的发展。
可以说，正是游戏行业与AI技术的深度融合，使得AI技术在算法研究、神经网络架构探索以及大规模分布式计算等领域取得了飞速的发展。
游戏之外：AI点亮未来
与在游戏内通过强化学习扮演一个超级高手相比，AI技术在游戏之外的开发、运营等环节所展现出的自然语言处理、计算机视觉、语音合成、数据挖掘等技术力则更为厂商所青睐。
AI技术的三大要素是算法、算力和数据。目前游戏行业的算法研究比较开放，全球的AI研究员都可以及时跟进最前沿的技术方案，而相对应的，算力和数据则成为了各家公司的技术壁垒。
当前，国内主流游戏厂商如腾讯、网易、米哈游、字节跳动等大厂均成立了各自的游戏AI Lab，虽然游戏厂商对AI技术的应用有着各自的侧重，但整体的前进路径却是大同小异。
吕唐杰也表示，AI技术可以在游戏开发阶段大大提升游戏团队的制作效率。
比如语音合成表情技术，可以让游戏角色通过配音直接输出角色表情，相比于传统人工手绘表情的解决方案，工作效率提升上百倍；
比如使用AI技术可以快速地将演员或视频中角色的表情、动作等迁移到游戏内的角色模型，相比于传统的基于动作捕捉的方案也能显著提升产出效率、降低制作成本。
在游戏的日常运营过程中，AI反外挂技术也可以作为传统反外挂技术的有效补充，通过读取分析玩家在游戏中的行为数据，AI可以快速识别出异常行为玩家，比如在《永劫无间》中，基于AI的反外挂方案抓到的外挂已经占到所有方案的60%以上。
“AI点亮游戏未来，” 吕唐杰给出了自己对游戏AI技术的理解：“从技术角度来理解，先进的生产力一定会取代落后的生产力，主流游戏都在积极拥抱以神经网络为基础的新一代人工智能技术强化学习、人工智能，这是一个让人兴奋的趋势。”
值得注意的是，目前国内在数字基建方面的投入强有力地促进了游戏AI技术的快速发展。
吕唐杰也强调，通过集团自建并与阿里云、华为云等公有云计算提供商以及国内超算中心的深度合作方式，网易伏羲搭建了一个拥有数万CPU和上千GPU的计算集群，并拥有PB级的数据处理能力。
“强大的数字基建为游戏AI技术的研究和应用保驾护航，也正是依托这些数字基建，我们才能研发出像永劫无间机器人、魔兽世界反外挂、AI照片捏脸、智能对话机器人等优秀的技术落地案例。”
吕唐杰坦言，目前游戏中存在的很多NPC均是用传统基于规则的方案制作，与玩家的交互也是机械式的问答，玩家的沉浸感并不强，基本上“有多少人工，就有多少智能”；但随着大模型预训练技术的发展，未来游戏策划只需要给怪物、NPC赋予故事背景和人设，并设定好他们的行动空间，剩下的就可以交由AI，让其通过学习大数据完成智能水平的提升，从而让玩家体验到NPC的鲜活感，也让游戏真正有可能变成一个自由开放的世界。这对于玩家而言，每一天乃至每一个玩家的每一次的游戏体验均会有所不同，也会让玩家们体验游戏的方式发生巨大的改变，对于游戏行业而言也将是一次新的革命历程。
网易伏羲AI研究&技术落地负责人吕唐杰 受访人供图
以下为本次采访实录，受访人为网易伏羲AI研究&技术落地负责人吕唐杰，仅做不改变愿意的调整：
1.观察者网：网易十一期间在《永劫无间》游戏中引入“噩梦AI”，为何会有一次这样的策划？
**吕唐杰：**噩梦AI的上线是一个不错的开始，游戏机器人曾在福利局、人机模式等玩法中扮演了重要的角色，但随着玩家游戏水平的逐渐提升，初始版本的游戏机器人已经跟不上玩家的需求。
一方面是由于机器人本身的竞技水平比较弱，另一方面是机器人的行为模式还比较固定甚至说是蠢萌，其根本原因则是在技术层面上，《永劫无间》原始版本的游戏机器人是通过行为树、状态机等基于规则的方法开发的，这类方法的特点是简单、易用，但同时机器人所能达到的水平上限不高。
目前，强化学习领域的研究者们已经在相当多的场景，特别是游戏场景中实现了匹敌甚至超越人类专家水平的AI，而强化学习也被认为是实现更通用、更广泛、更高级的机器智能的重要技术手段之一。
因此，我们借助了深度强化学习技术对游戏机器人进行了多方面的能力提升，包括寻路效率、战斗博弈水平、迂回作战等。
另外，从技术的角度来讲一定是先进生产力取代落后生产力，不单是《永劫无间》，网易大多数游戏项目组也都在积极拥抱新一代人工智能技术，这是一个让人兴奋的趋势。
2.观察者网：与玩家认知中的传统游戏AI相比，当前阶段在游戏中引入的AI有什么不同？从玩家角度来观察，对两种AI的感知又有何不一样？
**吕唐杰：**首先是两种游戏AI的制作产生方式不同。传统游戏AI可以看成是“什么情况下做什么”的若干规则的组合，是人类有限经验的堆叠。而当前我们在游戏中引入的AI，是通过像“新手玩游戏变成老手”那样的过程“训练”出来的，可以将其视为具备了感知、认知、决策以及学习能力的智能体。
其次，两种游戏AI的技能水平差异很大，这也是第一点所直接导致的。基于规则的AI其实是人类先验知识的一种简易的表达，体现的是游戏开发者、策划对于怎么玩游戏的一种认知。
但其问题就在于人类虽然可以精通游戏，却拙于提炼如何精通游戏。因此，一个基于规则的游戏AI逻辑，往往包含了成千上万条规则以尽可能地覆盖所有决策情形，规则越多，游戏AI也就越智能，但在实际中规则AI其实很难达到极高的智能水平。
而在求解“如何将游戏玩得更好”这个问题的过程中，强化学习算法能够自动探索可能的决策情形，将应对策略凝练到参数模型中，不需要庞大的规则库，也不需要人工干预学习过程。
与规则AI这种机械的“人工智能”相比，这是更高级形式的“人工智能”，“人工”是因为它仍然是人类设定的程序，“智能”是因为这种程序实现的（或者说模拟的）是人类获取知识的方法，而非直接表达知识本身。
目前，人工智能技术日新月异的发展所带来的各行各业的变化已经非常容易被常人所感知到，强化学习技术在围棋、星际争霸、Dota2等游戏中的突破都引起了非常大的轰动。在游戏领域大家已经形成了这样的共识——现代人工智能技术在某些特定领域超越人类，已经是事实。
从我们自己的经验来讲，玩家们对于传统游戏AI和用强化学习算法训练出的游戏AI的感知有非常明显的区别，这主要也是由两者之间的技能水平差异所带来的。
比如新AI学会了比较高级的连招技能，新AI表现出像人一样的欲擒故纵、声东击西等计谋，新AI压迫性太强等等。如果只局限于传统的基于规则的方法，游戏AI只能演配角戏，比如给新手玩家练手、在深夜玩家数量较少时充人数，那游戏AI对于很多玩家来讲其实是可有可无的。
目前来看，深度强化学习为代表的现代人工智能技术可以有无限潜力，借助这些技术产生的游戏AI可以帮助玩家做更多的事情，与玩家在游戏世界里面共建共生，或许可以成为游戏玩法的全新发展方向。
3.观察者网：一般的认知中，游戏中任何怪物、NPC的操作均遵从开发人员设定的逻辑，AI的引入能否理解为未来游戏中的对应怪物、NPC会有自主的运行逻辑？这会对游戏内的生态带来哪些变化？
**吕唐杰：**随着大模型预训练技术的发展，游戏行业的这一天可能很快就能到来，这对于游戏内的生态会产生重要的影响。
首先，可以提升游戏内怪物、NPC的制作效率，并且还能将这些NPC的智能水平提升到一个新的层次。此前游戏中的NPC是基于传统规则方案所制作的，游戏策划使用行为树、流程图等工具，手工制作AI的行为逻辑，基本上“有多少人工，就有多少智能”。因为生产力低下，鉴于游戏开发团队有限的预算和投入，一般游戏中的怪物、NPC就会存在智能不足、可玩性有限的问题。
通过使用人工智能技术，怪物和NPC拥有了自我学习的能力，游戏策划只需要给这些怪物、NPC赋予故事背景和人设，并设定好他们的行动空间，剩下的就可以交由AI，让其通过学习大数据完成智能水平的提升，从而让玩家体验到NPC的鲜活感。
其次，游戏真正有可能变成一个自由开放的世界，并让玩家获得身临其境的交互体验。比如玩家可以跟NPC进行自由的交流，包括文字、语音、表情、行为等多种交互形式，而NPC又能根据游戏世界观、自己的人设以及与玩家和其他NPC的交互，在游戏里自主式的发展，那玩家每一次在游戏里都会有新奇的体验，不同玩家的体验也各不相同。
《西部世界》电视剧中描绘了一种终极NPC的形态，我相信通过人工智能技术的发展，这种高智能、高自由度的NPC在游戏中必将出现，这也是我们努力的目标，而这对于很多想要持续探索开放游戏世界的玩家来说将是一个福音。
4.观察者网：传统游戏中的强力AI角色通过后台读取对应的数据来实现强大的应对能力（如RTS游戏中战争迷雾无效等），而如今游戏AI则是依据当前场景判定下一步的行动逻辑。这种纯自主性的AI在开发及应用层面与传统的游戏AI有何不同？
**吕唐杰：**由于传统的游戏AI与纯自主性的AI背后所依赖的技术不同，使它们具有不同的特点：传统的游戏AI由于完全以逻辑方式实现，其行为更加可控及可定制化，但其行为模式较为单一固化，且通常无法应对复杂的游戏场景；
与之相对的，纯自主性的AI基于深度神经网络，其具有更高的上限，能够应对复杂场景，同时行为表现上具有一定的变化，但由于深度神经网络的黑盒性质，对其进行定义化的行为调整存在一定困难。
从开发层面来看，传统的游戏AI要展现强大的应对能力，除了通过后台获取数据外，往往还会在属性数值方面进行增强。而此次《永劫无间》噩梦人机模式背后的AI，是结合深度神经网络及强化学习方法，在设定任务目标后，通过AI之间的自我对弈训练，最终人为挑选后产生，其获取的数据范围及数值属性，与真实玩家间不存在差异。
5.观察者网：除了在游戏内与玩家互动，AI在游戏开发、日常运营的过程中还能够带来哪些改变？
**吕唐杰：**在游戏开发阶段，AI技术可以大大提升游戏团队的制作效率。例如通过语音合成表情技术，可以让游戏的角色通过配音直接输出角色表情，相比于传统人工手绘表情方案，工作效率能提升上百倍；
再比如使用AI技术可以快速地将演员或视频中角色的表情、动作等迁移到角色模型上，相比于传统的基于动作捕捉的方案，能显著地提升产出效率、降低制作成本；
AI文图生成技术则可以让策划通过文本快速地生成和挑选一些合适的概念图，降低了策划跟美术之间的交流障碍，减少中间返工的成本等等。
在日常运营阶段，AI反外挂技术通过分析玩家在游戏中的行为数据，可以快速识别出异常行为玩家，从而作为传统反外挂技术的有效补充。
6.观察者网：目前全球来看游戏AI技术的开发、应用等方面中外之间是否有明显的差异？
**吕唐杰：**AI技术跟游戏本身是一种相辅相成的关系。
一方面，游戏作为研究和验证AI技术的绝佳场景，在AI技术的发展过程中起到了至关重要的作用。无论是最初的AlphaGo、还是后来的OpenAI Five、AlphaStar等，AI研究团队都是通过这些复杂的游戏场景来反复打磨AI算法、验证技术效果。可以说，这些游戏极大地促进了AI技术在算法研究、神经网络架构探索以及大规模分布式计算等方面的飞速发展。
总体来说，国外在使用游戏来促进AI技术发展这一领域要比国内要做得更好一些；但同时，依靠AI技术的发展、应用来反向促进游戏本身，这一领域国内很多公司走得更为靠前，目前国内很多大型游戏公司都成立了自己的AI技术部门，在用AI技术赋能游戏上做了大量的技术创新和应用落地。
当然，无论是用游戏来促进AI技术的研究，还是用AI技术来促进游戏产业的发展，两者都对全球产业带来了正向的促进作用。比如网易伏羲已在“游戏+AI”领域发表了150多篇国际级论文，拥有200多篇技术专利，并在全球游戏开发者大会（GDC）做过10余次AI技术专题分享，在国际和国内享有一定的声誉。
7.国内数字新基建所打造的算力网、数据中心等对游戏AI技术的开发、应用带来了哪些作用？
**吕唐杰：**AI技术的三大要素是算法、算力和数据。目前游戏行业算法研究比较开放，全球的AI研究员都可以及时跟进最前沿的技术方案，而算力和数据则成为了各家公司的技术壁垒。
得益于在数字新基建方面的投入，国内的游戏AI技术取得了快速的发展。例如网易伏羲已经搭建了一个拥有数万CPU和上千GPU的计算集群，并拥有PB级的数据处理能力。同时阿里云、华为云等公有云计算提供商、国内的一些超算中心也为游戏AI技术的研究和应用提供了大量支持，也正是依托这些数字基建，我们才能研发出像《永劫无间》机器人、反外挂机器人、AI照片捏脸、智能对话机器人等优秀的技术落地案例。