中国科学院自动化研究所正式发布“紫东太初”全模态大模型

【环球网科技综合报道】6月16日，在人工智能框架生态峰会2023上，中国科学院自动化研究所所长徐波正式发布“紫东太初”全模态大模型。

据介绍，“紫东太初”全模态大模型是在千亿参数多模态大模型“紫东太初”1.0基础上升级打造的2.0版本，在语音、图像和文本三模态的基础上，加入视频、传感信号、3D点云等模态数据，研究突破了认知增强的多模态关联等关键技术，具备全模态理解能力、生成能力和关联能力，面向数字经济时代加速通用人工智能的实现。

徐波首次对外实时展示了大模型在音乐理解与生成、三维场景导航、信号理解、多模态对话等方面的全新功能，并邀请现场观众与大模型即时互动。“紫东太初”全模态认知大模型不仅可以透过《月光曲》畅谈贝多芬的故事，也可以在三维场景里实现精准定位，还能够通过图像与声音的结合完成场景分析。

据悉，“紫东太初”2.0可以理解三维场景、传感信号等数字物联时代的重要信息，完成了音乐、图片和视频等数据之间的跨模态对齐，能够处理音乐视频分析、三维导航等多模态关联应用需求，并可实现音乐、视频等多模态内容理解和生成。

目前，“紫东太初”大模型已展现出广阔的产业应用前景，在神经外科手术导航、短视频内容审核、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域开始了一系列引领性、示范性应用。

徐波表示，自动化所以“紫东太初”大模型为基础，持续探索与类脑智能、博弈智能等技术路径的相互融合，最终实现可自主进化的通用人工智能。并将探索在更多领域发挥赋能价值，为促进我国数字经济快速发展贡献力量。