阿里云开源模型Qwen2-72B发布：性能提升明显，提供多语言支持

2024-06-07

<article><section data-type=“rtext”>【环球网科技报道记者李文瑶】6月7日，阿里云更新技术博客，宣布发布开源模型Qwen2-72B。所有人均可在魔搭社区和Hugging Face免费下载通义千问最新开源模型。<img data-alt="" src="//img.huanqiucdn.cn/dp/api/files/imageDir/4eae1bf3ea53cf2543c2e426cdd5288du1.png?imageView2/2/w/750" />相比2月推出的通义千问Qwen1.5，Qwen2实现了整体性能的代际飞跃。通义千问Qwen2系列模型大幅提升了代码、数学、推理、指令遵循、多语言理解等能力。通义千问团队在技术博客中披露，Qwen2系列包含5个尺寸的预训练和指令微调模型，Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B，其中Qwen2-57B-A14B为混合专家模型（MoE）。Qwen2所有尺寸模型都使用了GQA（分组查询注意力）机制，以便让用户体验到GQA带来的推理加速和显存占用降低的优势。在中英文之外，模型训练数据中增加了27种语言相关的高质量数据，提升了模型的多语言能力。Qwen2还增大了上下文长度支持，Qwen2-72B-Instruct能够完美处理128k上下文长度内的信息抽取任务。具体来看，在Qwen1.5系列中，只有32B和110B的模型使用了GQA。这一次，Qwen2-72B所有尺寸的模型都使用了GQA，以便让大家体验到GQA带来的推理加速和显存占用降低的优势。针对小模型，由于embedding参数量较大，Qwen2-72B使用了tie embedding的方法让输入和输出层共享参数，增加非embedding参数的占比。上下文长度方面，所有的预训练模型均在32K tokens的数据上进行训练，并且阿里云方面发现其在128K tokens时依然能在PPL评测中取得不错的表现。然而，对指令微调模型而言，除PPL评测之外还需要进行大海捞针等长序列理解实验。在该表中，阿里云根据大海捞针实测结果，列出了各个指令微调模型所支持的最大上下文长度。而在使用YARN这类方法时，Qwen2-7B-Instruct和Qwen2-72B-Instruct均实现了长达128K tokens上下文长度的支持。目前，团队投入了大量精力研究如何扩展多语言预训练和指令微调数据的规模并提升其质量，从而提升模型的多语言能力。尽管大语言模型本身具有一定的泛化性，我们还是针对性地对除中英文以外的27种语言进行了增强。此外，团队针对性地优化了多语言场景中常见的语言转换（code switch）问题，模型当前发生语言转换的概率大幅度降低。阿里云团队使用容易触发语言转换现象的提示词进行测试，观察到Qwen2系列模型在此方面能力的显著提升。据悉，通义千问Qwen系列模型总下载量一个月内翻了一倍，已突破1600万次。开源后，Qwen2将继续探索模型及数据的Scaling Law。此外，我们还将把Qwen2扩展成多模态模型，融入视觉及语音的理解。阿里云CTO周靖人表示，“坚持开源开放是阿里云的重要策略，我们希望打造一朵AI时代最开放的云，让算力更普惠、让AI更普及。”</section></article>