首个国产全功能GPU的万卡集群来了！“中国英伟达”出品_风闻

金磊 发自 凹非寺

量子位 | 公众号 QbitAI

纯国产GPU的万卡集群，它来了！

而且还是国内首个全功能GPU，兼容CUDA的那种。

这个集结了超过10000张高性能GPU的超复杂工程，它的算力有多大？

不卖关子，直接揭晓答案——

总算力超万P，专为万亿参数级别的复杂大模型训练而设计。

规模还只是它的特点之一，其它亮眼的地方还包括：

有效计算效率（MFU）目标最高达60%，可达到国际水平

周均训练有效率目标最高可达99%以上，平均无故障运行15天以上，也是对标业界最高标准

通用场景设计，加速一切大模型

生态Day0级快速迁移，与CUDA兼容

这便是江湖人称“中国版英伟达”的摩尔线程，对自家智算中心全栈解决方案夸娥（KUAE）升级后的最新 “打开方式”。

而纵观国内算力的发展进程，仅是今年上半年便陆陆续续有不少“头部玩家”先后宣布布局万卡集群，**“打群架”**之势，好不热闹。

但，万卡国产GPU，确实很少见。

加之以生成式AI为主旋律的大模型热潮当道，Scaling Law的“魔法”仍在持续奏效，训练GPT-4所需要的GPU数量便已经达到了25000个。

以及在大模型架构方面也不只是围绕Transformer，而是呈现出多元化的趋势；与此同时，AI、3D和HPC跨技术与跨领域融合不断加速……

因此，当下的技术给算力提出了更高、更复杂、更多样化的要求——

万卡集群已然成为大模型玩家的最低标配，更是促使国产GPU大步迈入**“万卡时代”**。

正如摩尔线程创始人兼CEO张建中所述：

当前，我们正处在生成式人工智能的黄金时代，技术交织催动智能涌现，GPU成为加速新技术浪潮来临的创新引擎。

夸娥万卡智算集群作为摩尔线程全栈AI战略的一块重要拼图，可为各行各业数智化转型提供澎湃算力。

摩尔线程希望做的事情是解决最难做的事情，帮助国家、帮助行业解决缺少大算力的问题。

那么前不久刚官宣完千卡集群的摩尔线程，又是如何在这么短的时间内率先跨入“万卡俱乐部”的呢？

国产GPU万卡集群，是怎么“炼”成的？

在回答怎么“炼”之前，必须要确认的一点便是目标——什么样的万卡集群才算是好用的。

对此，张建中基于刚才种种的现状分析，给出了一个符合当下算力需求的**“好用公式”**：

好用=规模够大+计算通用+生态兼容

而这也正是最新夸娥（KUAE）万卡集群所具备的五大特点。

展开来看，首先便是万卡万P的超大算力。

具体而言，升级后的夸娥（KUAE）已经实现了单集群规模超万卡，浮点运算能力达到10Exa-Flops。

与此同时，在GPU显存和传输带宽方面，显存容量达到了PB级，卡间互联总带宽和节点互联总带宽同样也达到了PB级，实现算力、显存和带宽的系统性协同优化，全面提升集群计算性能。

在大算力之后，便来到了好用的第二个关键因素——有效计算效率（MFU）。

MFU作为衡量大型模型训练效率的标准指标，能够直观地反映整个集群训练过程的效率。

夸娥（KUAE）万卡集群通过在系统软件、框架和算法等多个层面进行深入优化，可以成功实现对大型模型的高效训练，MFU值最高可达60%。

具体来说，在系统软件层面，通过采用计算与通信效率的极致优化技术，显著提升了集群的执行效率和性能。

在框架和算法层面，该集群能够支持多种自适应的混合并行策略和高效的显存优化技术，能够根据具体的应用需求自动选择并配置最佳的并行策略，从而显著提高训练效率和显存的利用率。

此外，针对处理超长序列的大型模型，夸娥（KUAE）万卡集群利用CP并行技术和环形注意力机制等优化手段，有效减少了计算时间和显存使用，进一步提升了集群的训练效率。

对于一个好用的集群而言，稳定性是最不可忽视的。

在这方面，正如刚才我们提到的，夸娥（KUAE）万卡集群平均无故障运行时间可超过15天，最长可实现大模型稳定训练30天以上，周均训练有效率目标为99%。

之所以把目标定得那么高，得益于摩尔线程自主研发的一系列可预测、可诊断的多级可靠机制，包括：

软硬件故障的自动定位与诊断预测实现分钟级的故障定位

Checkpoint多级存储机制实现内存秒级存储和训练任务分钟级恢复

高容错高效能的万卡集群管理平台实现秒级纳管分配与作业调度等

至于最后一个最重要的保障，就在于通用性和生态友好。

据了解，夸娥（KUAE）万卡集群专为通用计算场景量身定制，能够为LLM、MoE、多模态和Mamba等多样化的架构和模态的大型模型提供加速支持。

此外，这个集群还采用了高效且用户友好的MUSA编程语言，并且完全兼容CUDA，配合自动化迁移工具Musify，能够实现新模型的即时”Day0”级迁移，确保了生态系统的即时适配性，从而帮助客户迅速部署其业务。

不过有一说一，虽然摩尔线程已经解锁了万卡集群这一大关，但这个过程并非是将GPU堆叠这么简单，用张建中的话来说就是：

虽然从千卡到万卡在数字上只是多了一个0，但难度上了却增加了一个指数级，比攀登喜马拉雅山都难。

例如，单是在超大规模组网互联这个问题上，超万卡集群网络便会涉及参数面网络、数据面网络、业务面网络、管理面网络等。

不同的网络需要采取不同的组网部署方式，其中，超万卡集群对参数面网络方面的要求是最高。

再如集群有效计算效率方面，大量实践表明，集群规模的线性提升无法直接带来集群有效算力的线性提升，受限于芯片计算性能（芯片及算子使用效率）、GPU显存的访问性能（内存和I/O访问瓶颈）、卡间互联带宽、有效的分布式并行策略等，集群有效计算。

除此之外，还会涉及训练高稳定与高可用、故障快速定位与可诊断工具、生态快速迁移、未来场景通用计算等种种问题。

总而言之，是有一种牵一发而动全身的感觉。

这就不免让人发出疑问：摩尔线程为什么非要啃下这块硬骨头？

万卡很难，但也很必要

千卡集群，不够用，根本不够用。

没错，这正是当下随着大模型以“AI一日，人间一年”的速度迭代更新之下，算力所面临的最根本问题。

也正因如此，主流的大模型玩家基本上都是配备了万卡集群，例如：

OpenAI：单集群GPU数量50000+

谷歌：单集群GPU数量25000+

Meta：单集群GPU数量24500+

字节跳动：单集群GPU数量12888

……

而大模型玩家们要想保持在业界的领先性，那么自家的大模型的更新迭代的速度就不能太慢，两周更新一次似乎也是成为了当下的常态。

因此，摩尔线程要做的事情，就是用万卡集群、全栈方式，打造一个大模型训练超级加工厂，可以在算力上匹配当下大模型如此快速更迭的速度。

所以摩尔线程为什么要啃下这块硬骨头，就不难理解了。

那么随之而来的另一个问题便是：为什么摩尔线程能够做到？

其实这并非是一蹴而就的事情。

其实早在2022年的时候，团队便已经设定了建集群的大方向与策略，这是因为当时A100算力也是处于紧缺的状态，国内市场急需能够替代它的产品。

从GPU功能情况来看，摩尔线程是在唯一可以从功能上对标英伟达的国产GPU企业。

随着2023年大模型的火爆，这种GPU集群式的方向就显得更加正确，毕竟黄仁勋在发布B200之际就表示“我们需要更大的GPU，如果不能更大，就把更多GPU组合在一起，变成更大的虚拟GPU”。

而摩尔线程更是为此狠狠做了一番准备，所以现在看来，摩尔线程当时的策略和决定，确实是具备前瞻性的。

那么最后的最后，便是市场认可度的问题了，对此，在这次活动中的一张图便可以解释一切：

总而言之，细数摩尔线程在走来的这一路，似乎总是前瞻性地、开创性地推动着国产GPU的发展；而这一次，也是毫不意外地再拿下“国内首个”的头衔。

至于这个新升级的万卡方案是否能把握住高端算力的空窗期，答案就交给市场来回答了。