arXiv（brain-computer interface）·· 29 天前AI 评分27
SICMD：融合 fMRI 与 MEG 的受试者不变跨模态感知语音解码
Subject-Invariant Cross-Modal Decoding of Perceived Speech from Brain Recordings
AI 导读
研究提出 SICMD 方法，融合 fMRI 与 MEG 实现受试者不变的跨模态感知语音解码，同时应对时空神经表征提取与跨受试者泛化两大挑战。在跨受试者解码任务中，其 Top-1、Top-10 和 Rankacc 较基线方法分别提升超过 10.6%、10.1% 和 1.7%，训练成本较多人及单人解码设置分别降低 88.8% 和 60.5%。
AI 要点
团队
第一作者 Aoke Zhang，末位作者 Jing Chen，共 2 位作者。
主要结果
跨被试感知语音解码中 Top-1、Top-10、Rankacc 分别较基线提升逾 10.6%、10.1%、1.7%；训练成本较多人及单人设定降低 88.8% 和 60.5%。
解决什么问题
同时应对非侵入式感知语音解码的两大难题：提取富含时空信息的神经表征，以及实现跨被试泛化。
方法
提出 SICMD 方法，融合 fMRI 与 MEG，并分析融合方式、融合位置、编码器架构与模型输入。
局限
从研究设计看，为方法学与离线分析研究，未涉及在线解码或临床验证。
AI 依据原文整理，未经人工核对。
来源：arXiv（brain-computer interface） · arxiv.org