arXiv（brain-computer interface）·· 29 天前AI 评分32
将语言模型整合进 MEG 听想语音解码
Integrating Language Models into Listened and Imagined Speech Decoding from MEG
AI 导读
研究利用配对听想 MEG 数据集，在训练阶段用对比式神经解码器将 MEG 表征与声学和上下文语言表征对齐，提升听想语音的跨受试者词语解码；推理阶段引入神经约束束搜索框架，融合神经证据与语言模型下一词概率。结果显示想象语音解码比听语音解码更受益于语言模型，其神经与语言证据的最佳平衡更偏向语言模型，相对纯神经解码的增益更大。
AI 要点
团队
第一作者 Maryam Maghsoudi，末位作者 Sriram Ganapathy，共 4 位作者。
主要结果
想象言语解码比聆听言语解码更受益于语言模型；想象言语中神经与语言模型证据的最佳平衡偏向语言模型，相对纯神经解码增益更大。
解决什么问题
想象言语神经响应弱、信噪比低、数据集有限，语言模型能提供多少帮助、对聆听与想象言语是否不同尚不清楚。
方法
使用配对的聆听—想象 MEG 数据集；先训练对比式神经解码器，将 MEG 表征与声学及上下文语言表征对齐；推理时用神经约束束搜索结合语言模型下一词概率。
局限
从研究设计看，基于单一配对聆听—想象 MEG 数据集，未设对照。
AI 依据原文整理，未经人工核对。
来源：arXiv（brain-computer interface） · arxiv.org