自动化所发布多模态同步语言神经影像数据集

【环球网科技综合报道】10月9日消息，据中国科学院自动化研究所消息，中国科学院自动化研究所自然语言处理研究组历时近两年，采集处理完成了汉语同步多模态神经影像数据集，并于近日正式对外发布。

据介绍，该数据集是当前国际上最大规模的用于脑语言处理机制研究的多模态同步神经影像数据集，针对12个被试收听约6个小时故事时的功能核磁共振(fMRI)、脑磁图(MEG)、每个被试的T1/T2加权结构像、扩散磁共振成像(diffusion MRI)和静息态核磁共振(resting MRI)数据采集整理而成，采集流程如图1所示。

此外，为了便于利用计算模型进行脑语言处理机制的研究，所有故事材料都由人工标注了句法结构树，计算了文本中每个词汇对应的音频时间点、词频以及多种不同字和词汇的向量，如图2所示。

该数据集的公开发布可以为全方位研究大脑在真实场景下理解词汇、短语和句子时如何调动不同脑区以及不同脑区之间如何协同工作等科学问题提供重要支撑。相关论文发表于Nature子刊Scientific Data。