摩尔线程升级夸娥智算集群解决方案 具备万P级浮点运算能力

<article><section data-type=“rtext”><p>【环球网科技报道 记者 李文瑶】7月3日，摩尔线程宣布其AI旗舰产品夸娥（KUAE）智算集群解决方案实现重大升级，从当前的千卡级别大幅扩展至万卡规模。</p><p>据了解，夸娥（KUAE）是摩尔线程智算中心全栈解决方案，是以全功能GPU为底座，软硬一体化、完整的系统级算力解决方案，包括以夸娥计算集群为核心的基础设施、夸娥集群管理平台（KUAE Platform）以及夸娥大模型服务平台（KUAE ModelStudio），旨在以一体化交付的方式解决大规模GPU算力的建设和运营管理问题。</p><p><img data-alt="" src="//img.huanqiucdn.cn/dp/api/files/imageDir/b675f03db2e17d1909e45afdb05207f7u1.png?imageView2/2/w/750" /></p><p>此次升级后的夸娥万卡智算解决方案具备多个核心特性，包括全新一代夸娥智算集群实现单集群规模超万卡，浮点运算能力达到10Exa-Flops，大幅提升单集群计算性能，能够为万亿参数级别大模型训练提供坚实算力基础。</p><p>在集群稳定性方面，摩尔线程夸娥万卡集群平均无故障运行时间超过15天，最长可实现大模型稳定训练30天以上，周均训练有效率在99%以上。</p><p>夸娥万卡集群在系统软件、框架、算法等层面一系列优化，实现大模型的高效率训练，MFU最高可达到60%。其中，在系统软件层面，基于极致的计算和通讯效率优化等技术手段，大幅提升集群的执行效率和性能表现。在框架和算法层面，夸娥万卡集群支持多种自适应混合并行策略与高效显存优化等，可以根据应用负载选择并自动配置最优的并行策略，大幅提升训练效率和显存利用。同时，针对超长序列大模型，夸娥万卡集群通过CP并行、RingAttention等优化技术，有效缩减计算时间和显存占用，大幅提升集群训练效率。</p><p>此外，夸娥万卡集群是一个通用加速计算平台，计算能力为通用场景设计，可加速LLM、MoE、多模态、Mamba等不同架构、不同模态的大模型。同时，基于高效易用的MUSA编程语言、完整兼容CUDA能力和自动化迁移工具Musify，加速新模型“Day0”级迁移，实现生态适配“Instant On”，助力客户业务快速上线。 </p><p>摩尔线程创始人兼CEO张建中认为，多元趋势下，AI模型训练的主战场，万卡已是标配。随着计算量不断攀升，大模型训练亟需超级工厂，即一个“大且通用”的加速计算平台，以缩短训练时间，实现模型能力的快速迭代。当前，国际科技巨头都在通过积极部署千卡乃至超万卡规模的计算集群，以确保大模型产品的竞争力。随着模型参数量从千亿迈向万亿，模型能力更加泛化，大模型对底层算力的诉求进一步升级，万卡甚至超万卡集群成为这一轮大模型竞赛的入场券。</p></section></article>