华为昇腾AI芯片在运行深度求索R1模型时如何超越英伟达处理器 | 南华早报

华为技术有限公司的先进数据中心架构CloudMatrix 384，使得该公司的昇腾芯片在运行深度求索的R1人工智能（AI）模型时，性能超越了英伟达的H800图形处理器（GPU），据一份技术论文所述。这篇由华为与中国AI基础设施初创公司硅流（SiliconFlow）的研究人员联合撰写的论文，将CloudMatrix 384描述为一个专为处理大规模AI工作负载而设计的“AI超级节点”。根据本周发布的论文，华为预计CloudMatrix将重塑AI基础设施的基础。它由384颗昇腾910C神经网络处理器（NPU）和192颗鲲鹏服务器中央处理器组成，通过提供超高带宽和低延迟的统一总线相互连接。

论文称，这一先进的大型语言模型（LLM）服务解决方案名为CloudMatrix-Infer，利用了该基础设施。在运行深度求索6710亿参数的R1推理模型时，其性能超越了全球一些最著名的系统。该架构体现了受美国制裁的华为正努力突破华盛顿技术管控措施，该公司正在推动人工智能系统性能的边界。数据中心是容纳大容量服务器和数据存储系统的设施，拥有多重电源和高带宽互联网连接。越来越多的企业利用数据中心为其人工智能项目托管或管理计算基础设施。