智源研究院王仲远：我国大模型开发应用一定要结合自身情况

2024-06-17

<article><section data-type=“rtext”>【环球网综合报道记者秦耳】“中国的大模型开发以及应用生态的建立，一定要结合中国实际情况开发建立。”智源研究院院长王仲远在第六届“北京智源大会”间隙，接受采访时讲到。 众所周知，近两年来人工智能大模型的浪潮已经席卷科技界，多种发展迹象以及业界趋势论证也都指向大模型带来的人工智能浪潮将会引发新一轮的技术革命。当前随着市场上多数大模型已经达到GPT-4标准，中美两个在此次人工智能浪潮中拥有先发优势的国家，由于外界环境的影响，也出现了发展路径不同。 对于我国大模型发展，业界也出现了不同的讨论。一部分人认为，在算力受限的情况下，应当快速实现大模型的市场落地，以保障有持续的自我造血能力；另一部分人则认为，应当参考海外大模型发展，目前全球大模型发展正在发展的早期阶段，包括OpenAI的ChatGPT都正在技术端快速迭代，不宜进行产品应用方面的开发，以免被新技术碾压，造成市场资源浪费。 <img data-alt=“智源研究院院长王仲远” src="//img.huanqiucdn.cn/dp/api/files/imageDir/8d24df5647ae93587228fb852b3c9502u1.png?imageView2/2/w/750" />对此，王仲远认为，业界两种观点各自都有自身的合理性，需要辩证地去看待。 “我一直以来的观点就是，如果我国大模型普遍能力还达不到GPT-4标准的时候，不应着急将大模型应用到垂直领域。因为基础模型能力持续提升后，之前搭建的应用一定会被完全碾压。”王仲远讲到。 在他看来，在理想情况下，一项技术能够实现落地应用，需要等待技术迭代发展到达平稳期后再开始进行相关应用的开发。如果在技术端快速发展迭代的时期就进行应用开发，所开发的应用一定会被后续技术碾压，风险极大。 “对于我国大模型而言，目前基本已经达到GPT-4标准，这个时期可以进行相关应用落地开发。下一阶段，则需要算力的突破，现在言之尚早。”王仲远表示。客观而言，由于高性能算力不足，我国大模型开发已经进入平台期，这个时间点进行相关应用开发反而能够跑通一些商业模式，使得行业进入到良性循环。 “正是因为我国大模型进入平台期，所以才会出现‘降价潮’。我认为这场‘降价潮’有利也有弊。”王仲远讲到。 他表示，某种程度上的降价肯定对于开发者去开发他们自己的应用场景，然后去接入大模型去做更多的尝试，这具有正面价值。另一方面，如果产业界大众一直在当下这个阶段不断“内卷”，不再思考技术迭代，商业模式、生态发展则失去了它的意义。 为了更好的规避算力带了的影响，针对大模型训练算力消耗高的问题，智源研究院和中国电信人工智能研究院（TeleAI）基于模型生长和损失预测等关键技术，联合研发并推出全球首个低碳单体稠密万亿语言模型Tele-FLM-1T。该模型与百亿级的52B版本，千亿级的102B版本共同构成Tele-FLM系列模型。 针对大模型幻觉等问题，智源研究院自主研发了通用语义向量模型BGE（BAAI General Embedding）系列，基于检索增强RAG技术，实现数据之间精准的语义匹配，支持大模型调用外部知识的调用。目前，BGE模型系列下载总量位列国产AI模型首位，并被HuggingFace、Langchain、Llama Index等国际主流AI开发框架以及腾讯、华为、阿里、字节、微软、亚马逊等主要云服务提供商集成，对外提供商业化服务。 同时，为帮助全球开发者一站式启动大模型开发和研究工作，智源研究院推出了面向异构芯片、支持多种框架的大模型全栈开源技术基座FlagOpen 2.0，在1.0的基础上，进一步完善了模型、数据、算法、评测、系统五大版图布局，旨在打造大模型时代的Linux。 为满足不断攀升的大模型训练和推理计算需求，应对大规模AI系统和平台面临的集群内或集群间异构计算、高速互联、弹性稳定的技术挑战，智源研究院推出了面向大模型、支持多种异构算力的智算集群软件栈FlagOS。FlagOS融合了智源面向多元AI芯片的关键技术，包括异构算力智能调度管理平台九鼎、支持多元AI异构算力的并行训推框架FlagScale、支持多种AI芯片架构的高性能算子库FlagAttention和FlagGems，集群诊断工具FlagDiagnose和AI芯片评测工具FlagPerf。FlagOS集异构算力管理、算力自动迁移、并行训练优化、高性能算子于一体。向上支撑大模型训练、推理、评测等重要任务，向下管理底层异构算力、高速网络、分布式存储。 “我也认为中国的大模型不应该停留在GPT4，这就需要我们不断平衡自身的发展，得到一个良好的产业生态。”王仲远坦言。据了解，为了实现多模态、统一、端到端的下一代大模型，智源研究院推出了Emu3原生多模态世界模型。Emu3采用智源自研的多模态自回归技术路径，在图像、视频、文字上联合训练，使模型具备原生多模态能力，实现了图像、视频、文字的统一输入和输出。 </section></article>