紫东.太初再进化，揭秘全模态大模型的想象力_风闻

半个月前的一场内部分享中，奇绩创坛创始人陆奇直言：他已经跟不上大模型时代的“狂飙”速度了。

在ChatGPT引发的现象级讨论下，千亿级大模型的军备竞赛愈演愈烈，不少企业赶趟儿式的交出了自家的大模型答卷。尽管大模型的质量参差不齐，却再一次诠释了“量变引起质变”的哲学规律。

日前结束的昇腾AI开发者峰会2023上，中国科学院自动化研究所“紫东.太初”大模型研究中心常务副主任、武汉人工智能研究院院长王金桥在演讲中介绍了基于昇腾AI与昇思MindSpore AI框架打造的全模态大模型紫东.太初2.0，并首次提出全模态多任务统一生成式学习框架。

借用Hugging Face联合创始人Thomas Wolf的说法：“在过去的几年里，好的多模态模型一直是许多大型技术实验室的圣杯。”当大模型进入到全模态时代，将对整个产业链带来哪些影响？

01 什么是全模态大模型？

以往提到大模型的时候，最惹眼的名词无疑是“参数”，从1.1亿参数的GPT到1750亿参数的GPT-3，千亿级参数几乎成了大模型的“准入门槛”，毕竟模型的参数量越大，泛化性可能就越强。

其实还有另外一种分类标准，即模态，分别对应单模态、多模态、全模态等不同类型，比如一鸣惊人的GPT-3就属单模态大模型，紫东.太初1.0和GPT-4属于多模态大模型，紫东.太初2.0是全球首个全模态大模型。

至于其中的差别，可以从三个维度进行拆解：

首先是原理。

所谓的模态，即大模型可以处理的数据类型。单模态大模型只能处理一种类型的数据，也是出现语言、语音、视觉等不同模态大模型的原因所在，就像GPT-3系列就只有处理自然语言的能力。

顾名思义，多模态大模型意味着可以处理多个模态的数据，比如首个三模态大模型紫东.太初1.0，可以利用文本、图片、音频三种模态数据进行跨模态的统一表征和学习。对应到全模态大模型，泛指可以利用文本、图片、音频、视频、3D等不同模态的数据进行跨模态的统一表征和学习，更接近人类的学习方式。

其次是成本。

ChatGPT刚刚走红的时候，不少人在讨论OpenAI的训练成本，据悉GPT-3训练一次的硬件和电力成本高达1200万美元，由此出现了这样一种流行说法：每一个大模型都是一台昂贵的“碎钞机”。

有别于单模态大模型的是，紫东.太初1.0代表的多模态大模型，通过建立弱关联多模态数据语义统一表示，支持三种或任两种模态数据混合训练，进而减少了数据收集清洗的代价；到了全模态大模型阶段，紫东.太初2.0的一个鲜明特点在于全模态低成本协同优化学习，能够融合多任务全模态能力，进而降低训练成本。

最后是能力。

大模型领域有“大力出奇迹”的信仰，根源在于大模型的“涌现”现象，当大模型的参数量超过某个阈值（一般说法是参数量达到600-1000亿），模型会出现一些意想不到的复杂能力，譬如类似人类的思维和推理能力。

正如前面所提到的，紫东.太初2.0首次提出了全模态多任务统一生成式学习框架，即全模态分组对齐、分组解码和联合解码的学习方式，形成了全模态逻辑推理链。而跨模态迁移更有利于知识获取，产生更多新的能力，紫东.太初2.0有望加速能力涌现，进一步突破感知、认知和决策的交互屏障。

相较于比拼参数、算力和数据的“大模型炼丹术”，由单模态到多模态再到全模态的进化，可以自动学习到复杂的特征和模式，实现更准确和更高效的预测和决策，同样是走向通用人工智能的必由之路。

02 大模型为何需要开源？

如果说“全模态”是紫东.太初2.0的第一个闪光点，另一个值得关注的消息是：紫东.太初2.0-3.8B模型已经在昇思MindSpore社区开源，相比于紫东.太初1.0，支持更细粒度的图像识别、更具知识的视觉问答、更丰富的图像描述。

似乎有必要重温下开源和闭源的故事。

1997年，著名黑客埃里克·斯蒂芬·雷蒙在《大教堂与市集》一书中预测了两种不同的自由软件开发模式：一种是大教堂模式，原始代码是公开的，但每个版本的开发过程由一个专属的团队管控；一种是市集模式，原始代码同样是公开的，不过是放在互联网上供人检视及开发，最直接的例子就是Linux。

最终“市集模式”证明了开源比闭源更加高效，全球99%的组织在IT系统中使用了大量的开源代码，开源的价值也被越来越多的企业重视。

2020年以前的时候，OpenAI信奉的也是开源策略，但在商业利益的诱惑下，GPT-3选择了闭源，只针对开发者提供API，OpenAI由此被戏称为ClosedAI，以至于国内的几家大模型厂商也选择了API模式。

再来理解紫东.太初系列大模型在昇思MindSpore社区开源的现实意义，或许可以找到一些不同的答案。

一是价格层面。开源没有所谓的许可或使用费，只要有足够的算力和数据，就可以在昇思社区上下载紫东.太初2.0-3.8B训练自己的大模型。而闭源的成本取决于软件的规模，目前OpenAI的ChatGPT API的最新接口调用费是每千次token约0.002美元，折合人民币0.014元，还是多次降价的结果。

二是安全层面。开源软件有一个完整的社区来审查代码，而闭源是由单一平台负责修改漏洞，出现了错误可能无法被及时改正。况且大模型的安全问题远不止于此，据传三星电子引入ChatGPT不到20天时间，就曝出有机密数据外泄，明令宣布禁止员工使用ChatGPT、Google Bard、Bing等生成式AI工具。

三是产业层面。开源世界里流传着一句格言：社区重于代码，因为开源社区的聚合和放大效应比开源代码更有价值。特别是方兴未艾的大模型领域，开源的本质是协同和创新，协同是全世界所有开源方力量的协同，创新是一个技术的创新，相比于各自为战的闭源模式，开源更利于产业生态的培养和繁荣。

紫东.太初2.0宣布开源的同时，同步升级了紫东.太初开放服务平台，不仅支持公有云、私有云、混合云在内的多种部署方式，兼容昇腾、英伟达、AMD、英特尔等不同AI硬件，作为AI框架的昇思MindSpore还提供了数据中心、训练中心、模型中心、推理中心在内大模型微调套件，进一步降低了大模型的开发门槛，并通过一键式微调、低参数调优等提高了开发效率。

全模态大模型的“神奇能力”，于开发者而言不再遥不可及。

03 大模型的价值在“落地”

也许就现阶段而言，还无法为开源和闭源的胜败下定论。可对于呼唤大模型的千万家企业来说，比部署方式更重要的其实是落地，如果大模型的能力不能转变为产业价值，再美好的故事也将是泡沫。

所以在对话式机器人舆情汹涌时，不少大模型并未急于跟进，因为大模型领域的参与者们都很清楚：华而不实地凑热闹终归会被狂飙的车轮碾压，产业落地才是大模型赛道避免泡沫化的铁律。

再确切一些的话，大模型通常在大规模无标记数据上进行训练，以学习某种特征和规则，而基于大模型开发应用时，只需对大模型进行微调，就可以完成多个应用场景的任务。如果说过去的AI应用是“手工作坊”式的，在大模型的驱动下，人工智能的产业落地正在向“工厂流水线”模式演变。

至少基于昇思MindSpore AI框架的紫东.太初大模型已经印证了这一点。

比如面向开发者和个人用户，武汉人工智能研究院推出了“江城洛神”AI内容创作平台，通过紫东.太初的图像描述能力、跨模态检索能力，“江城洛神”能够自动构建AIGC的训练数据，通过文本对于生成图片的细粒度信息进行控制，例如头发的颜色、人物的表情、背景的效果、风格的定义等等。

同类平台需要输入多个提示词才能准确生图时，“江城洛神”已经通过自然语言实现了“一语成画”。鉴于紫东.太初2.0的视觉知识推理和生成，不排除会衍生出图生文、图像分类识别等个性化的新玩法。

再比如面向行业的多模态人工智能产业联合体，目的是整合产学研用各方资源，打造多模态人工智能行业应用，探索通用人工智能产业化路径，目前已经有华为、中国移动、长安汽车等66位成员参与其中。

直接的例子就是大模型在智能座舱中的应用。基于“紫东.太初”多模态大模型，长安汽车引入了元宇宙的概念，创造出了YYDS虚拟数字人。和其他车内语音助手最大的不同，“YYDS”允许用户复刻自己或亲人的形象、声音，可以捏出自己专属的语音助手，实现了千人千面的个性化需求满足。

可以找到的案例还有很多，比如紫东.太初2.0大模型在智慧法律、智慧交通、智慧政务、智慧医疗等场景中的深入落地。

或许这才是全模态大模型的正确打开方式，正在从过去的“一专一能”向“多专多能”过渡。在昇思MindSpore等开源社区的推动下，大模型不仅赋予了普通开发者使用AI的能力，也拉近了千行百业智能化转型的距离。

不出意外的话，紫东.太初2.0开创的将不只是“全模态大模型”的先河，一场以落地考验价值的产业大考悄悄拉开了帷幕。

04 写在最后

即使从2018年OpenAI的GPT算起，“大数据+大模型”的行业布道也不过才进入第五个年头，期间或许有挫折，但井喷式爆发已经是注定的事实。

而在文本、图片、音频等数据的基础上，进一步融入3D、视频、传感信号等多模态数据的紫东.太初2.0，注定了大模型进阶之路的新转折点，通过优化语音、视频和文本的融合认知以及常识计算等功能，正在让人工智能从感知世界进化为认知世界，延伸出更加强大的通用能力，不断刷新人们的想象空间。