《华尔街日报》:她18年无法言语,一台电脑帮她找回了声音
Dominique Mosbergen
计算机正越来越擅长为无声者发声。
一位瘫痪近20年无法言语的女性,通过脑部植入物和思维读取算法,借助虚拟化身重获声音。
另一项脑部植入技术则让一位因罕见神经系统疾病失语的女性,能以接近正常语速的速度通过文字交流。
她们的经历于周三发表在《自然》期刊的两项 独立研究中,展示了脑信号控制设备的重大突破。这类系统已实现从脑活动中重建平克·弗洛伊德的歌曲,并将言语脑信号及手写文字转化为文本。研究人员表示,新研究中采用的脑机接口速度更快、精度更高。
“我们证明了技术的可能性,“加州大学旧金山分校威尔神经科学研究所的神经外科医生、其中一项研究的合著者Eddie Chang博士说。
张医生团队将一张信用卡大小、布满253个电极的硅薄膜植入一位瘫痪女性的大脑表面。这位48岁的患者18年前因脑干中风,丧失了言语及四肢活动能力。
瘫痪者的大脑即便在神经肌肉传导通路中断时,仍能发出控制动作的电信号。研究表明,这位女性患者的植入装置成功捕捉到原本用于控制舌部、下颌、喉部及面部言语肌群的神经信号。电极通过颅骨端口连接的线缆与计算机系统相连。
科研团队训练算法系统识别其言语与面部表情的脑电信号。在两周实验期内,受试者需默念屏幕上显示的单词和句子,并想象做出悲伤、快乐、惊讶等表情,计算机同步记录其执行任务时的脑部活动数据。
研究人员验证了算法将脑信号转化为文字与语音的准确性。当系统尝试解码时,受试者需默读新提供的句子。
研究参与者头部的神经数据端口与语音修复系统相连。图片来源:诺亚·伯杰据张博士介绍,该系统文字转换速度达每分钟78词,是既往脑机交互通讯设备的5倍。在1000词词汇量范围内,准确率约75%。患者原使用的头部追踪辅助设备打字速度仅14词/分钟,而常人语速约为150词/分钟。
“我们现在看到,创造更自然、更具象化的交流方式是可能的。”张(Chang)表示。
这项脑机接口技术让这位女性通过说话虚拟形象进行交流,张称之为首创。她选择了一个拥有淡褐色眼睛和齐肩棕发的女性形象。研究人员用她在婚礼上的演讲录音为虚拟形象定制了声音。
华盛顿大学圣路易斯医学院神经外科副教授彼得·布伦纳(未参与研究)指出,需进一步改进此类系统以惠及更多患者。“一个根本限制在于这些手术的侵入性,”他说,“成本多高?实际可行性如何?”
另一项《自然》研究中,68岁的帕特·班尼特(Pat Bennett)大脑表层植入了四个传感器,每个约爆米花粒大小,内含数十个电极。
帕特·班尼特植入了四个约爆米花粒大小的传感器于大脑表层。图片来源:史蒂夫·菲什/斯坦福医学院班尼特2012年被诊断出肌萎缩侧索硬化症(渐冻症),这是一种进行性神经退行性疾病,她已无法清晰说话。
斯坦福大学研究人员将班尼特脑中的传感器连接到经训练的计算机,学习其脑信号与语言的对应关系。经过四个月每周两次训练后,系统能以每分钟约62个词的速度将她的脑信号转为文字。使用约125,000个词汇库时,准确率达76%。
“这或许能实现真正流畅的对话,并切实恢复与他人建立联系的能力,”斯坦福大学神经外科教授、该研究的合著者杰米·亨德森博士表示。
亨德森指出,其团队采用的深层传感器可通过读取单个神经元的信号来生成更高清晰的结果。但由于大脑会移动且传感器周围可能形成疤痕组织,这些设备可能发生位移,脑机接口可能需要重新训练。
未参与这些研究的密歇根大学直接脑接口实验室首席研究员简·哈金斯表示,更先进的脑机接口技术正引发隐私担忧。
“我们不应捕捉人们不愿被他人听到的内心独白,”她说。
联系本文作者多米尼克·莫斯伯根,邮箱:[email protected]
本文发表于2023年8月24日的印刷版,标题为《植入设备将脑信号转化为文字与语音》。