浪潮AI服务器持续领跑AI计算性能提升
6月30日,全球权威AI基准评测MLPerf最新V2.0训练评测成绩榜单公布,浪潮AI服务器表现优异,在本次单机训练性能评测中继续保持领先。
据悉,本次评测任务涵盖了当下主流AI场景,包括自然语言处理(BERT)、智能推荐(DLRM)、图像分类(ResNet)、医学影像分割(3D U-Net)、轻量级目标物体检测(RetinaNet)、重量级目标物体检测(Mask R-CNN)、语音识别(RNN-T)以及强化学习(Minigo)8类AI任务。
在单机训练评测的固定任务中,浪潮信息以高端AI服务器斩获自然语言理解(BERT)、智能推荐(DLRM)、语音识别(RNN-T)三项性能成绩第一,位列单机冠军榜首。在本次配置8颗NVIDIA A100 Tensor Core GPU的主流高端AI服务器中,浪潮AI服务器斩获5项任务最佳成绩(BERT、DLRM、RNN-T、ResNet、Mask R-CNN)。
自参加MLPerf AI性能评测以来,浪潮AI服务器通过软硬件全面优化,持续实现AI性能突破。相较于2018年12月MLPerf 初始版本V0.5的典型配置8卡机型的性能数据,浪潮AI服务器的性能显示出大幅提升,提升比例最高达789%,2.35倍于摩尔定律增速。
当前,基于Transformer神经网络的预训练大模型正引领新一代AI算法发展,并逐步从自然语言处理走向计算机视觉、多模态等领域。MLPerfTM评测任务中的BERT模型即是基于Transformer架构的模型。Transformer简洁、可堆叠的架构使得开发极大参数量、基于极大数据集的预训练大模型成为可能,这带来了模型算法能力的大幅提升,但同时也对AI计算系统的处理性能、通信互联、I/O性能、并行扩展、拓扑路径及散热能力提出了更高的要求。
在本次BERT评测任务中,浪潮AI服务器通过优化数据预处理、GPU之间密集参数通信、超参数自动寻优等,进一步提升了BERT训练性能,在15.869分钟内即在Wikipedia数据集的2850176条数据上完成了3.3亿参数的BERT模型训练,相较于V0.7版本的最佳成绩49.01分钟的性能提升达到309%。