百度CTO王海峰：大模型产业化发展可采用“集约化生产、平台化应用”模式

10月26日-28日，第二十届中国计算机大会(CNCC2023)在辽宁沈阳举办，国内外计算机领域的专家学者、科技领军人才、企业代表共同探讨计算及信息科学技术领域最新进展和宏观发展趋势。百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰在会上解读文心大模型最新技术，阐述大模型产业模式。据了解，自文心一言3月发布至今，文心大模型4.0训练算法效率提升3.6倍，周均训练有效率超过98%，推理性能提升50倍。

王海峰认为，人工智能具有多种典型能力，理解、生成、逻辑、记忆是其中的基础能力，这四项能力越强，越接近通用人工智能，而大语言模型具备了这四项能力，且越来越强，为发展通用人工智能带来了曙光。

百度在3月16日发布知识增强大语言模型文心一言，目前文心一言的基础模型已迭代到文心大模型4.0版本。知识增强大语言模型从数万亿数据和数千亿知识中融合学习，得到预训练大模型，在此基础上采用有监督精调、人类反馈强化学习、提示等技术，具备知识增强、检索增强和对话增强的技术优势。

例如在推理方面，通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络，提升逻辑能力。此外，在输入和输出阶段都进行知识点增强。而在插件方面，通过数据驱动、提示构建，以及插件增强进行场景适配，协同优化。文心一言已上线百度搜索、览卷文档、E言易图、说图解画、一镜流影等原生插件，扩展了大模型能力边界，更适应场景需要。

此外，百度进一步研制了智能体机制，包括理解、规划、反思和进化，能够做到可靠执行、自我进化，并一定程度上将思考过程白盒化，让机器像人一样思考和行动，自主完成复杂任务，在环境中持续学习实现自主进化。

王海峰表示，基于更强平台、更优数据、更好算法，我们训练出规模更大、效果更好的文心大模型4.0。通过飞桨与文心的协同优化，模型周均训练有效率超过98%，训练算法效率提升3.6倍，推理性能提升50倍。文心4.0的理解、生成、逻辑、记忆四大能力显著提升，其中理解和生成能力的提升幅度相近，而逻辑和记忆能力的提升则更大，逻辑的提升幅度达到理解的近3倍，记忆的提升幅度也达到了理解的2倍多。

具体而言，在万卡算力上运行飞桨平台，通过集群基础设施和调度系统、飞桨框架的软硬协同优化，支持了大模型的稳定高效训练。建设了多维数据体系，形成了数据挖掘、分析、合成、标注、评估闭环，充分释放数据价值，并通过多种策略优化数据源及数据分布，大幅提升模型效果。

基于有监督精调、偏好学习、强化学习等技术进行多阶段对齐，保证模型更好地与人类的判断和选择对齐。可再生训练技术通过增量式的参数调优，有效节省了训练资源和时间，加快了模型迭代速度。

公开数据显示，文心一言面向全社会开放一个多月，用户规模达到4500万，开发者5.4万，场景4300个，应用825个，插件超过500个。飞桨和文心生态愈加繁荣，已凝聚800万开发者，服务22万家企事业单位，基于飞桨创建了80万个模型。

演讲中，王海峰进一步展示了文心一言的理解、生成、逻辑、记忆能力。文心一言精准推荐了沈阳的赏秋胜地，根据指令作了一首以“虎”为题，不出现“虎”字的诗，生动表现了森林之王老虎的威猛形象。而在工作中，文心一言已经成为“超级助理”，实现了IM对话智能总结、会议洞察和会议纪要实时生成、一键智能差旅等。据悉，目前这些功能已应用于百度的工作流程中，助力员工提升工作效率。

面对大模型产业化的挑战，王海峰表示，类似芯片代工厂模式，可以采用“集约化生产，平台化应用”的模式，即具有算法、算力和数据综合优势的企业将模型生产的复杂过程封装起来，通过低门槛、高效率的生产平台，为千行百业提供大模型服务。目前，这一产业化路径已在文心大模型产业实践中得到验证，百度与各行业头部企业、机构共建了包括能源、金融、航天、制造、传媒、城市、社科以及影视等行业大模型，正加速大模型产业化落地。