浪潮信息李龙翔：多层数据访问优化 应对超大规模系统挑战

【环球网科技综合报道】4月9日-13日，第十三届国际性能工程学大会（ICPE2022）在线召开。此次大会涉及AI建模及算法、算力提升、能效测量、新型计算架构、体系结构研究等多个主题。其中，浪潮信息人工智能与高性能应用软件部高性能应用架构师李龙翔发表主题为《多层数据访问优化》的演讲指出，随着近年CPU核心数增加及性能的不断增强，在超大规模系统并行计算时，越来越多的应用运行性能主要受数据访问速度限制。针对超大规模集群的数据存储特点，他介绍了一种多层数据访问 (Multi-Layered Data Access，MLDA) 优化方法，可以快速对超大规模并行计算性能瓶颈进行分析，通过对存储、网络、访存、CPU等设备数据访问过程优化，提升超大规模集群并行计算效率。

据悉，这只是浪潮信息解决超大规模系统挑战多种技术之一，在中文巨量模型"源1.0"的训练过程中，浪潮信息采用了多种面向超大规模并行计算技术的软硬件协同优化手段，通过流水线并行、张量并行等手段自动地将模型多层数据切分到不同的节点中实现并行。“源1.0"模型包含的参数总量达 2457 亿，是 GPT-3 的 1.404 倍。