国产AI框架，如何“弯道超车”？
【文/观察者网 吕栋】
“作为后发框架，要想实现技术超越或者领先，核心就是找到AI技术变革的下一条新赛道，只有当新赛道出现的时候，才有弯道超车的机会。”近期在人工智能框架生态峰会2023上，昇思MindSpore开源社区理事长丁诚在接受观察者网采访时说道。
今年以来，ChatGPT掀起的这轮AI大模型浪潮，彻底拉高了市场对AI底层硬件的预期，算力、GPU、服务器等概念萦绕在不少人的脑海中。但实际上，在每个划时代的技术更迭中，硬件都需要与软件系统密切配合，才能更好地实现产品或应用价值。
在当前的人工智能技术架构中，共分为大约四层：芯片层、框架层、模型层和应用层。其中，AI框架在行业内被定义为“AI领域的操作系统”。在这一底层核心软件领域取得主导权，无异于微软在PC时代拥有Windows，谷歌在移动互联时代打造安卓。
在AI成为大国竞争新高地的今天，国产AI框架的发展，事关中国能否在新一轮科技革命中掌握主动权。令人感到欣慰的是，近些年以昇思MindSpore、飞桨PaddlePaddle等为代表的国产AI框架逐步成长起来，没有让中国科技产业“缺芯少魂”的剧情重演。
但同时也要指出的是，由于具有先发优势，谷歌的TensorFlow和Meta的PyTorch，在性能和易用性上依然不乏好评，目前使用率在国内高居前列。面对TensorFlow和Pytorch构筑的旧格局，国产AI框架“弯道超车”的机会在哪？又该如何打造自己的生态优势？
图片数据来源：Omdia（下同）
AI框架有何重要作用？
“大模型时代，大家对AI产业发展的关注，往往会聚焦在算法本身以及底层的算力上，也就是基础设施硬件方面，中间的技术软件经常被忽视。”近日在上海举行的人工智能框架生态峰会2023上，昇思MindSpore开源社区理事长丁诚向观察者网说道。
自去年底以来，新一轮AI大模型热潮被ChatGPT掀起，算力和服务器成为绝对的市场焦点，国内大模型厂商抢购GPU的消息此起彼伏。例如最近就有传言称，字节跳动今年向英伟达订购了超过10亿美元的GPU，国内另一家大厂的订单也超过10亿元人民币。
AI训练和推理需要大算力，GPU等AI芯片受到热捧无可厚非。但同时也要指出的是，所有人工智能的算法及应用，都要通过AI框架进行训练与部署。作为人工智能的“根技术”，“AI框架+算力硬件”的组合，可以在一定程度上决定AI产业应用的主体技术路线。
AI框架技术演进 图源：中国信通院
“人工智能框架南向对接多样算力，北向通过编程接口帮助开发者实现算法创新应用。在整个大模型生态当中，人工智能框架是起到一个大模型使能的定位，所谓大模型使能，就是帮助开发者孵化他的大模型，人工智能框架不会自己去做大模型，但是它会把做大模型的算法团队作为它的用户。”丁诚告诉观察者网。
对于AI框架的重要意义，商汤科技联合创始人林达华曾这样表述：
在我们最初探索深度学习的时候，没有TensorFlow，没有PyTorch，甚至没有GPU。我们需要手写C++程序来完成整个计算过程，训练一个模型需要一两个月。正是因为经历了这样的艰辛，我们深切地认识到训练框架的核心意义，可以说，训练框架定义了算法研发的空间，框架的空间有多大，我们就能走多远；框架的能力有多强，我们就能走多快。
百度首席技术官王海峰也曾表示：
深度学习的通用性特点，以及深度学习框架及平台的发展，正推动人工智能标准化、自动化和模块化，进入工业大生产阶段。深度学习框架下接芯片，上承业务模型、行业应用。一个好的AI框架，与芯片互相配合，可以最大限度的“榨干”芯片的算力，发挥其最高效用。
总体而言，对于开发者来说，AI框架的底层能力、功能丰富度、生态完善度，都会影响开发效率，进而影响新技术和应用创新的速度。随着大模型浪潮席卷而来，AI领域内的开发创新工作更加如火如荼，AI框架作为核心开发工具，重要性更加凸显。
国内没有缺席，但国外仍有优势
PC和移动互联网时代，Windows+Intel、Android/iOS+ARM的软硬件联盟，曾让中国饱受“缺芯少魂”之苦。进入AI时代，中国企业更早认识到“操作系统”的重要性，纷纷开始布局AI框架。例如，华为MindSpore、百度PaddlePaddle、商汤科技SenseParrots、腾讯TNN、阿里MNN、字节跳动BytePS、旷视MegEngine、小米Mace等。
丁诚在前述峰会2023上告诉观察者网，昇思MindSpore开源三周年以来，一直在帮助包括像中科院自动化所，鹏城实验室，各个高校，以及产业用户孵化各种各样的大模型。目前，国内大概已经有20个大模型通过昇思AI框架原生孵化出来，至少有9个大模型通过MindSpore开源社区平台和搭建的渠道推向产业。
2019年8月，华为推出昇思MindSpore，并在2020年3月将框架开源。观察者网获悉，截至2023年5月底，昇思开源社区下载量已突破474万，社区贡献者1.3万，服务企业数量5500家，与240家科研院所展开合作，开源模型达400多个，发表顶会论文超过900篇。
百度布局AI框架的时间其实更早，2016年该公司发布并开源飞桨PaddlePaddle。百度方面披露的数据显示，截至2022年5月，飞桨汇聚477万开发者，创造56万个AI模型，服务18万企事业单位。截至2021年底，已有超过20个厂家、30种以上的芯片适配飞桨。
根据2023年1月Omdia发布的《中国人工智能框架市场调研报告》，在中国开发者的心目中，MindSpore在国产框架中认知度排第一，PaddlePaddle紧随其后。在开发者认知度排名方面，昇思和飞桨已超过国外非常成熟的框架MXNet，以及谷歌重点支持的新兴框架JAX。
但易用性和性能方面，国产框架似乎与国外仍有差距。根据前述报告，在国外的端到端框架中，开发者认为TensorFlow和PyTorch的易用性更好，而本土框架昇思MindSpore和飞桨PaddlePaddle紧随其后；性能方面，开发者认为TensorFlow和PyTorch性能更好，昇思MindSpore和飞桨PaddlePaddle同样紧随其后，二者在性能评价上已经超过其他主流框架。
AI框架隔离了底层的复杂性，更加易用的框架能够让开发人员以更快的速度和更高的效率，来探索、创建、改进和迭代AI项目。而AI框架的性能则涉及到框架本身的底层性能，包括框架的底层算法效率，以及框架利用底层硬件资源进行优化开发、训练和推理的能力。
由于易用性和性能是开发者最看重的因素，因此目前TensorFlow和PyTorch在开发者中的使用率较高。根据Omdia报告，在中国开发者AI框架使用率排名中，PyTorch和TensorFlow，分别以34%和30%遥遥领先，PaddlePaddle和MindSpore并驾齐驱，使用率均为11%。
中国信通院发布的《AI框架发展白皮书（2022年）》提到，全球来看，国际主流AI框架由Google、Meta等科技巨头主导。目前以Google、Meta、Amazon、Microsoft等代表的互联网科技巨头，凭借自身的数据、技术和资本等优势，持续在AI框架生态领域发力，引领全球AI框架技术创新升级趋势，并逐步形成了以Google-TensorFlow和Meta-PyTorch为代表的双寡头格局。从市场占有情况看，产业界以TensorFlow为主，学术界以PyTorch为主。
“弯道超车”的新赛道在哪？
在整个人工智能体系中，AI框架被视为核心一般的存在。中国布局AI框架的企业虽然众多，但在性能和易用性等方面，似乎与Google、Meta等国外巨头仍有差距。在大模型时代到来之际，国产AI框架又该如何构建自身优势，甚至实现“弯道超车”呢？
“TensorFlow是2015年12月开源的，Pytorch是2016年4月，比MindSpore早了大概4-5年的时间。作为后发框架，要想实现技术超越或者领先，核心就是找到AI技术变革的下一条新赛道，只有新赛道出现的时候才有弯道超车的机会。”丁诚向观察者网表示。
“在下一个时代，新赛道是什么呢？”
丁诚提到了“AI For Science”（科学智能）。他表示，下一个可能发现的技术变化点是科学智能，传统的科学智能、科学计算在每一个科学问题中，可能都孕育着一个基本的数学方程。
举例来说，在流体力学计算中会消耗大量的算力，这个过程其实数学原理很简单，就是一个纳维-斯托克斯方程的求解。在传统过程中，如果用CPU单卡进行计算，可能需要几十年、上百年都算不完，而用AI的方式就有可能10倍或者100倍地加速纳维-斯托克斯的求解。
“所以在MindSpore发布的2.0版本中，提出了科学计算融合架构，目的就是想在这个赛道中能获得更多技术领先的机会，打造自己的原生生态。”丁诚向观察者网透露，MindSpore会首先在大模型和AI For Science两个新赛道里构建自己的原生生态。
根据Omdia发布的报告，“AI for Science”借助人工智能的巨大技术优势，可将数学计算和科学模型的方法结合，高效处理海量数据，使传统的科研过程变得自动化、规模化、并行化和平台化，从而解决原来传统科学研究范式无法解决的问题，帮助科学家突破科研瓶颈。
Omdia分析师认为，“AI for Science”在气候和环境科学（天气预测等），生物制药和生命科学（新药研发、蛋白质结构预测等），流体力学（汽车或飞机的气动设计等），电磁学（电磁仿真等）等应用领域可能会首先取得突破。
在这份报告中，大多数开发者反馈，TensorFlow 对“AI for Science”支持比较好，而昇思 MindSpore对“AI for Science”的支持能力超过PyTorch，并有赶超TensorFlow的趋势。
“对于Pytorch和TensorFlow领先的生态怎么办？我们会做两件事情。”
丁诚透露，首先，框架的生态锚点会从API走向模型，MindSpore开源社区将承载更多业界高质量算法模型，把这些模型打造成一个算法套件，帮助传统赛道的AI用户能快速得到行业场景应用。第二件事情，MindSpore在保持自己自主创新的一套原生API基础之下，兼容业界现有像Pytorch这样的API的生态。对传统用户来讲，如果想重新学习MindSpore，学习成本将会很低，通过这样的方式，把传统的生态逐渐吸引到MindSpore生态圈里。
构建生态仍是重中之重
在PC和移动互联时代，软硬件生态是产业链企业无法忽视的关键词，Windows+Intel、Android+ARM构建的生态壁垒，直到现在还是“制胜法宝”。在人工智能时代，AI框架的生态构建同样是重中之重，因为这将直接影响框架的能力、功能、以及产业化应用等。
最近几年，国内的AI框架生态建设已经为产业发展带来了切实好处。例如，多家科研院所和高校基于MindSpore推出紫东.太初、鹏程.神农、武汉.LuoJia等大模型，PaddlePaddle联合鹏城实验室发布了鹏城-百度·文心等大模型，两大开源框架平台也汇聚了大量开发者。
但这仍然不够。中国信通院报告指出，AI框架进入主流视野仅五六年时间，从技术演进，到开源生态、市场格局，再到应用赋能、推广辐射，AI 框架的整体生态还远未成熟。软硬件协同、开源打造、开发者推广、关键领域赋能等方面，将为生态成熟升级提供重要助力。
为了共建人工智能框架生态，在人工智能框架生态峰会2023上，18家AI头部企业、高校、科研机构、开源社区等共同发布首个AI框架生态倡议，倡议通过政产学研用的共同努力，支撑中国人工智能框架生态走向新高度，推进中国人工智能产业新发展。
同时在峰会上，昇思社区理事会宣布成立，首批成员单位包括AI芯片企业、AI应用企业、高校与学术机构共计18家单位，目标是面向产业、商业、生态等各方向吸纳对社区有贡献、有潜力的企业，通过理事会加强核心伙伴粘性，助力伙伴商业生态成功。
上海人工智能研究院、上海市闵行区政府、临港集团、昇思开源社区还联合启动了上海昇思AI框架&大模型创新中心，支持全国范围的AI技术企业、高校与科研院所孵化大模型、科学智能技术研究，打造一系列富有竞争力的“AI+行业”的示范性应用场景，推动产业集聚。
从当下的发展趋势来看，大模型已经成为AI产业界的共识。在ChatGPT引爆新一轮浪潮后，未来一段时间内大模型很可能将保持高速发展，谁进展得更快、谁就更有优势。而这种竞速并不只是单纯地拼人才、拼资源，更大程度上还是拼基础设施和生态。
AI框架始终被视为AI的根技术，是模型的“土壤”。如何让这个“土壤”更肥沃？开源、开放、共建就成为关键。
中国信通院报告指出，开源本质上是一种人才、智慧的聚合，能够助推AI框架快速升级。茁壮的开源生态对于AI框架的发展至关重要。开发者通过在开源社区进行代码开源、项目托管、协作分享、沟通交流等一系列活动，实现与开源AI框架的紧密互动。
这或许也是为什么要召开人工智能框架生态峰会2023的原因，核心目的就是为了吸引、呼吁更多人，一同共建中国AI框架生态。而在新一轮技术周期的影响和带动下，国产AI框架会如何发展，能否实现对TensorFlow和PyTorch的“弯道超车”，也十分引人关注。
本文系观察者网独家稿件，未经授权，不得转载。