WAIC 2022| AI领SHOW：三模态大模型“紫东.太初”亮相

*【环球网科技综合报道】*9月1日，世界人工智能大会（WAIC）“AI领SHOW”栏目在上海举办。

栏目期间，中科院自动化所研究员、武汉人工智能研究院院长王金桥展示了基于昇腾AI基础软硬件平台打造的全球首个三模态大模型“紫东.太初”。“紫东.太初”通过跨模态多任务自监督学习，实现了图像、文字、语音和视频等不同模态数据之间的统一表示和互相生成的，且形成了完整的智能表示、推理和生成能力。

王金桥表示，“传统人工智能学习当中，通过视觉模型可以实现人脸的识别，但是并不知道机器怎么表征每个人的特征差异，只能从图像中间结果的特征图解释机器学习的过程，而通过‘紫东.太初’三模态的模型，可以把图像、语音等实现跨模态的统一到人类语言的维度，更接近于人类的理解和思考方式。”

据介绍，“紫东.太初”有四大突破。其一，“紫东.太初”提出了多任务多层次的跨模态自监督学习的训练框架，支持词条级别、模态级别和样本级别的训练，实现了跨模态理解与生成的统一建模。

其二，“紫东.太初”首次使“以图生音”和“以音生图”成为现实，贯通了语音、图像、文字这几种信息，形成了完整的智能表示、推理和生成能力，为探索人类智能本质提供了一个新平台。

其三，“紫东.太初”作为全球范围内首个千亿参数的三模态大模型，标志着我国从限定领域的弱人工智能正式迈向通用人工智能路径的重要探索。

其四，“紫东.太初”多项算法指标性能全球第一，让AI从“一专一能”迈向“多专多能”的同时，在多项下游任务中实现业界领先的性能，构建了全自主人工智能技术体系。

除了展示“紫东.太初”的技术优势，王金桥还表示已经实现基础模型开源和大模型的服务开放，近期将开放“紫东.太初”服务平台新的版本，支持低代码人工智能模型的训练、微调和部署，通过API调用的模式，自动上传数据，自动标注模型，自动形成推理部署的工具，自动体验效果。