我国自主深度学习之平台比肩国际主流

近日，百度公司宣布旗下“飞桨”深度学习开源开放平台又一次迎来20多项功能发布和技术升级。这些发布和升级包括提升核心框架性能和易用性、新增产业级模型库、发布端侧推理引擎PaddleLite、发布面向产业应用场景的端到端开发套件（自然语言处理领域的ERNIE语义理解、计算机视觉方向的PaddleDetection目标检测和PaddleSeg图像分割、智能推荐方向的ElasticCTR点击率预估）等。

百度首席技术官、深度学习技术及应用国家工程实验室主任王海峰向《中国科学报》表示，功能发布和技术升级后，飞桨平台的深度学习模型开发能力、训练能力、预测和部署能力进一步提升，可比肩TensorFlow、PyTorch等国际主流框架，在多项技术上有优于后者的表现。

智能时代的操作系统

“深度学习框架上承各种应用、下接芯片等硬件，起到了承上启下的作用，是‘智能时代的操作系统’。”王海峰说，然而，在2016年之前，国内外开发者主要基于谷歌TensorFlow、脸书PyTorch、亚马逊MxNet等国外深度学习框架进行人工智能算法、模型的开发、训练与部署。

百度飞桨的开源开放及不断升级打破了这一局限。尤其是经过多轮升级和打磨之后，如今飞桨平台在深度学习框架的开发、训练、预测及部署等核心能力上均有着比肩甚至超越国外主流框架的表现。这使得我国人工智能（AI）技术开发者和使用者不必依赖于国外平台，同时还可进一步培育自主可控的AI开发应用生态。

飞桨是我国目前唯一具有完全自主知识产权的全功能性产业级深度学习的平台，包括核心框架、模型库、开发套件、工具组件和服务平台五大部分。百度技术团队自2018年以来对飞桨进行了全面升级，并进行大规模推广。

优于国外框架的使用体验

近两年来，飞桨围绕深度学习框架的基本功能、性能、芯片支持的完备性等技术指标进行了一系列的易用性开发和性能迭代，为开发者提供了优于国外框架的使用体验。

在开发能力方面，飞桨除了支持对常用API的调用之外，还在编程范式上同时支持声明式编程和命令式编程，兼具很好的灵活性和稳定性，可满足不同开发者的开发习惯，更易上手。另外，飞桨提供了“自动化网络结构设计”这一工具，在多个任务上实测显示自动化设计水平已超过人类专家。

百度深度学习技术平台部总监马艳军告诉《中国科学报》，该领域顶级学术会议之一AAAI第一篇有关图像风格迁移网络的自动化网络结构设计的论文即来自百度飞桨技术团队。

在训练方面，飞桨平台突破了超大规模深度学习模型训练技术，研制了千亿特征、万亿参数、数百节点的开源大规模训练平台，实现了万亿规模参数深度学习模型的实时更新。

“当前国际主流的开源框架还停留在仅支持千亿参数或更低规模的模型训练的水平，飞桨这一突破解决了大规模产业应用的难题。”王海峰说，有的大型科技公司每天会有百亿级数据量，所需模型规模参数量达万亿级别，这要求深度学习的平台的训练能力与之匹配。例如，OPPO在应用商店的应用推荐场景，使用基于飞桨的分布式训练技术，训练速度（16个训练节点）相比单机TensorFlow提升8倍。

在预测、部署环节，飞桨技术团队在各类硬件适配上做了大量工作，当前可以轻松地部署到X86 CPU、英伟达GPU、Mali GPU、华为NPU等8种不同架构的平台设备上，并在对华为、寒武纪等国产AI芯片的适配方面取得了显著效果。比如在华为麒麟芯片上，无论推理速度还是能效都有大幅提升。

同时，飞桨平台和其他开源框架训练的模型也能无缝衔接，可进一步突破模型推理速度。

“产业级应用要求很苛刻，推理速度快的优势尽显。比如质检线上一个零件的停留时间只有数十毫秒，如果推理速度不够，可能导致机器无法及时完成缺陷识别。”马艳军举例说，飞桨下大力气结合许多苛刻场景做了性能优化，目的就是推动飞桨在工业场景的应用。在已上线飞桨计算机视觉相关模型的上海和辉光电OLED及重庆京东方LCD不良检测项目中，产品漏检率、过检率相较应用前均有数倍提升。

评测数据显示，通过采用CPU全异步并行，飞桨平台在点击率预估模型、词向量模型上比TensorFlow快8~10倍；在GPU多机多卡同步训练下，飞桨在多个模型下评测训练速度比TensorFlow快30%~70%。

在上述能力强化的基础上，飞桨官方支持100多个经过长期产业实践打磨的主流模型，其中包括在国际竞赛中夺得冠军的模型，同时开源开放200多个预训练模型，以助力快速产业应用。

培育自主可控的AI生态

统计数字显示，飞桨当前拥有超过6.5万企业用户，在定制化训练平台上发布了16.9万个模型，且模型数量呈现显著增长趋势，在工业、农业、服务业等各行各业中广泛应用。同时，飞桨已经累计服务150万开发者，这一数字约占中国软件从业平均人数的1/4。

不过，与TensorFlow等相比，飞桨在生态构建上仍然有较大发展空间。“生态体系不是一朝一夕培育起来的，国外框架几年前就开始在中国大规模推广了，目前渗透很深。”王海峰说，“我们希望有关多方围绕深度学习框架和平台这个核心形成合力，下大力气培育自主的生态体系。”

中国科学院计算技术研究所研究员陈云霁今年发表在《中国计算机学会通讯》上的《智能计算系统——一门人工智能专业的系统课程》一文中提到，越是人工智能上层（算法层、应用层）的研究，我国研究者对世界作出的贡献越多；越是底层（系统层、芯片层），我国研究者的贡献越少。

“在各种ImageNet比赛中，我国很多机构的算法模型已经呈现霸榜的趋势，可以说代表了世界前沿水平。但这些算法模型绝大部分都是在CUDA编程语言、TensorFlow编程框架以及GPU之上开发的。在这些底层的‘硬科技’中，我国研究者对世界的贡献就相对少了很多。”对这一现象，陈云霁表示担忧，“底层研究能力的缺失不仅给我国人工智能基础研究拖后腿，更重要的是，将使得我国智能产业成为‘空中楼阁’，走上信息产业受核心芯片和操作系统制约的老路。”

对此，王海峰表示，国产智能芯片和深度学习框架都是构建我国自主AI生态的关键，智能时代深度学习的平台一定要和AI芯片对接，不仅要做软件的优化，还要软硬一体，跟芯片一起联合优化。

“如果不发展自主芯片、操作系统，国内也就培养不出相应的人才——维护好自己的社区，跟在别人构建的社区中修修补补是完全不一样的。我国在智能时代不能再让受制于人的历史重演，这也是百度大力做飞桨平台的意义所在。”王海峰表示，无论是推动AI技术从实验室走向产业，还是自主AI生态构建，飞桨深度学习框架未来将继续发挥重要作用。