脑机接口首次同步解码言语与肢体语言

美国国立卫生研究院（NIH）资助的科研团队近日展示了一种新型脑机接口（BCI），可让声带和躯体瘫痪的患者同时传达言语和上肢手势。此前脑机接口已分别实现过言语或手势的单一输出，而这一新系统首次实现两种通信模式同步进行，更接近自然表达方式。

多模态通信并非简单叠加

加州大学旧金山分校（UCSF）的科学家利用机器学习技术，对三名患者同时进行言语和肢体手势时产生的独特脑活动进行解码。该脑机接口成功将其中两名参与者的思维转化为指令，驱动一个全身虚拟化身做出相应表情和动作。

“对话远不止说出的词语，它是一个涉及整个运动皮层的多层次动态过程，”通讯作者、UCSF神经外科教授Edward Chang医学博士表示，“这一概念验证表明，脑机接口有可能恢复部分这种自由度和灵活性。”

肌萎缩侧索硬化症（ALS）或脑干卒中患者常出现严重瘫痪，导致言语和非言语能力受损甚至丧失。目前标准护理方案中的眼动追踪技术可实现文本转语音，但速度慢、表达形式有限，且使用过程可能令患者身体疲惫。

ECoG阵列与解码器策略

Chang及其同事一直致力于提供更自然的解决方案。他们此前已将一条名为皮层脑电图（ECoG）阵列的薄传感器条植入多名患者的运动皮层，再通过称为解码器的计算机模型将脑信号转化为控制数字头部和面部的计算机指令。

在新研究中，作者在不同程度声带和躯体瘫痪的患者中部署了ECoG阵列，但这次目标是通过将参与者连接到一个完整身体的虚拟化身来实现上肢表达。研究人员在参与者尝试说出特定短语或做出挥手、竖大拇指等常见手势时采集数据，分别记录单独进行和同时进行的情况。

过去脑机接口已分别实现言语和非言语通信，但尝试同时进行时似乎会削弱言语能力。科学家曾推测，与同步言语和手势相关的脑信号只是两类信号的简单聚合，但Chang及其合著者发现，多模态通信并非各部分之和。

尽管存在部分重叠，同步表达数据所呈现的图景与单独言语或手势所生成的图景截然不同。他们发现，如果解码器此前接受过参与者同步而非孤立言语和手势数据的训练，其在破译混合表达信号方面更为成功。

向全植入无线系统推进

借助这一策略，研究人员和参与者证明，脑机接口设备能够实现多层面、逼真的表达。

“这些令人鼓舞的结果让我希望，未来严重瘫痪患者能够重新获得人类通信的整体性，”NIH下属国家耳聋和其他沟通障碍研究所（NIDCD）所长Debara Tucci医学博士表示。

虽然本研究中使用的脑机接口采用有线系统，将植入传感器连接到外部处理单元，但Chang解释说，他的团队很快将测试一种完全可植入的无线版本，其长期应用前景更好。

该研究由Samantha C. Brosler等人完成，论文题为《Simultaneous speech and gesture decoding for multimodal communication in paralysis》，发表于《自然·神经科学》（Nature Neuroscience），DOI: 10.1038/s41593-026-02446-2。

来源：NIH News Releases（英文原文，生物航编译，内容以原文为准）