哥伦比亚大学 Nima Mesgarani 团队用可解释特征分解语音模型与 ECoG 脑响应的对齐
AI 摘要哥伦比亚大学 Nima Mesgarani 团队基于六类可解释特征(mel 频谱、Gabor 滤波器组、语音存在、音素、句法、语义)与 Whisper、HuBERT、WavLM 三种语音基础模型的上下文嵌入,构建线性编码模型,量化各特征类别共享的 ECoG 响应方差。
AI 推荐理由:研究用方差分解把语音基础模型与脑响应的对齐拆到可解释特征层面,便于比较不同模型层级与脑编码的关系。
AI 摘要哥伦比亚大学 Nima Mesgarani 团队基于六类可解释特征(mel 频谱、Gabor 滤波器组、语音存在、音素、句法、语义)与 Whisper、HuBERT、WavLM 三种语音基础模型的上下文嵌入,构建线性编码模型,量化各特征类别共享的 ECoG 响应方差。
AI 推荐理由:研究用方差分解把语音基础模型与脑响应的对齐拆到可解释特征层面,便于比较不同模型层级与脑编码的关系。
AI 摘要牛津大学 Oiwi Parker Jones 团队(第一作者 Miran Özdogan)在预印本中系统比较了非侵入式神经解码的六种多试次聚合策略,覆盖三个数据集、四项任务和两种组规模。
AI 推荐理由:该预印本系统比较六种多试次聚合策略,并给出训练期 logit 平均在语音解码任务上的相对优势与理论解释。
AI 摘要一项发表于 Journal of Neural Engineering 的研究用可解释 AI 方法分析基于超高密度 EEG 的卷积神经网络语音解码,试图区分神经活动与发音时产生的肌电伪迹。
AI 推荐理由:摘要用可解释 AI 拆开 EEG 语音解码中神经信号与肌电伪迹的贡献,为判断非侵入式语音脑机接口的信号来源提供方法参照。
AI 摘要Ingo Marquardt 团队在 arXiv 预印本中为 Llama-3.1-8B 的每一层各训练一个解码器,用 19 通道 EEG 记录默读过程,并区分词级可解码性与语境追踪成分。
AI 推荐理由:研究逐层比较 Llama-3.1-8B 各层作为解码目标的效果,为 EEG 语言解码器的目标层选择提供了一个可参考的设计维度。
AI 摘要一项脑电(EEG)研究对比15名年轻人和15名老年人的说话与默读任务,发现两组EEG信号强度和行为表现相近,但年轻人在508-629 ms和660-800 ms区间的全局差异指数(DISS)更高,即说话与默读的神经空间构型更分明。TANOVA显示229-334 ms和377-538 ms区间存在年龄相关的头皮地形差异。研究认为衰老与两种语言任务间神经分化减弱相关,尤其在运动指令准备等后期加工阶段。
AI 摘要一篇系统综述梳理了将语调、韵律、响度和情感等副语言特征纳入语音神经假体设计的研究进展。综述指出,现有系统虽能解码音素和词汇信息,却常无法捕捉这些对传达情绪与意图至关重要的维度;相关研究已刻画腹侧前运动区和辅助运动区的表达性编码,外周与多模态传感在解码情绪状态上展现出可观准确率。这些发现指向融合情感调控与语言解码的闭环神经假体系统。
AI 摘要研究团队将多模态对比学习框架用于想象言语解码,在冻结预训练文本编码器的嵌入空间中对齐 EEG 试次与语言表征,在 Chisco 想象言语数据集 5 名受试者、39 个意图类别上取得与任务优化闭集分类器相当的解码性能。最大 EEG-文本余弦相似度(MaxCosine)可识别出 Top-1 和 Top-5 准确率更高的留出试次子集,五个评估期语义轴的平均一致率均高于 50% 随机参考。
AI 摘要奥克兰大学 Luke E Hallum 团队用 64 通道 EEG 开展两项实验,让受试者进行真实发声(n = 14)或想象发声(n = 21)五类情绪(愤怒、快乐、中性、悲伤、愉悦),单试次 EEG 的情绪解码准确率分别为 78.1%(随机水平 20%)和 36.4%。
AI 推荐理由:研究用 EEG 与面部 sEMG 同步记录,指出想象发声时面部肌肉活动会污染信号并影响情绪解码,可供做想象语音解码的团队参考。
AI 摘要Onyema Osuagwu 团队分析了 ds003626、KaraOne 和 2020 国际脑机接口竞赛 Track 3 三个公开数据集,在强制划分完整性的协议下检验头皮 EEG 想象语音能否跨人迁移。
AI 摘要Blessing Isoyiza Adeika 与 Onyema Osuagwu 的预印本审计了 ds003626、KaraOne 和 2020 国际脑机接口竞赛 Track 3 三个数据集上的头皮 EEG 语音解码。
AI 推荐理由:这篇预印本用注入已知幅度效应的方法测量五类解码器的检测下限,并指出头皮 EEG 语音解码中肌电信号主导阳性对照的问题,可供方法学对照。
AI 摘要Ting Han 团队提出 BEST(Brain-Encoding-Speech-Text)两阶段框架,用分层中间表征和紧凑的语音解码器把神经活动直接映射为文本,不依赖大型生成模型或音素流程。
AI 推荐理由:在语音脑机接口训练数据稀缺的背景下,这项研究用参数规模对比说明解码器扩容的收益并非单调。
AI 摘要一项结合心理语言学与自然主义神经科学的 MEG 研究,让 26 名受试者(19 名女性)聆听叙事语音,发现句法与韵律存在双向交互:短语闭合处若伴随强韵律边界,其神经编码更强;而韵律边界强度也主要在句法短语闭合处被编码。结果表明二者并非独立编码,而是以情境依赖、相互约束的方式共同支持自然语音理解。
AI 摘要一项两日方案纳入 27 名健康受试者,先以静息态 EEG 测定个体 alpha 频率(IAF,8-12 Hz),再在枕区电极上以 IAF 及偏移频率(IAF±2 Hz)施加 tACS,同时完成一致音节与 McGurk 冲突刺激的多感官语音任务。
AI 摘要一项基于 DATABRASE 清醒开颅术录音语料的研究,系统评估了构音障碍语音检测流程,采用说话人日志分离患者语音、多层 wav2vec 2.0 自监督表征结合手工声学特征、说话人条件归一化与基于可迁移性的特征选择,以及梯度提升与神经网络级联分类器,并在留一说话人交叉验证下评估。
AI 摘要SEER 是一种基于检索的框架,通过学习哪种同情感参考能让每个源在人工耳蜗处理后仍可识别,无需平行正常/强录音或强度标签。在 RAVDESS 上 N8 的 Source macro-F1 提升 7.30 分,在 ESD 上提升 11.66 分,ESD 在 N4/N8/N16 均有显著增益,16 名听者的 RAVDESS 增益在所有条件下均显著。
AI 摘要清华大学高小榕团队提出 Language as Supervision(LaS),将神经特征与自然语言类别描述对齐,并用候选文本原型预测类别,替代传统的类别标签监督。
AI 推荐理由:提出以自然语言类别描述替代类别标签监督,在视觉、运动、语音解码上验证,可对照现有解码监督方式。
AI 摘要在 MEG-MASC 和 MOUS 的语音检索解码中,情境先验经加性浅融合重塑候选得分后,置信度取自同一融合得分,导致先验遗留的错误更自信而准确率不变。
AI 摘要一项预印本研究提出双分支深度学习框架,结合瞬时锁相值与共空间模式提取特征,在两类公开 EEG 数据集上解码内语。在受试者依赖设置下,社会词与数字词平均准确率分别达 95.16±3.50% 和 95.96±2.40%,第二数据集为 90.23±10.61%;但受试者独立设置准确率仅 64.09±3.20% 和 52.19±2.64%,跨受试者泛化仍是难题。
AI 摘要美国研究团队用 78 名受试者的 EEG 数据做仿真,系统评估多种语言模型对 P300 拼写脑机接口的打字速度提升,并引入理想化 LLM 建立性能上界。结果显示打字速度在受试者内训练下最高提升约 45%,跨受试者训练下最高提升约 75%,多个高性能模型与理论性能上界相差在 5% 以内。作者认为 LLM 辅助的 P300 拼写器在该解码框架内已接近上界,主要瓶颈从语言建模转向神经信号解码。
AI 推荐理由:研究用78名受试者的EEG仿真比较多种语言模型,并给出LLM辅助P300拼写器的性能上界,可据此判断瓶颈已从语言建模转向神经信号解码。
AI 摘要莱斯大学 Donald S. Williamson 团队提出 NEUROTOKEN,用一个共享 EEG 前端的网络同时完成方向性听觉注意解码与声源听觉注意解码,其条件流匹配模块 ATTUNEFLOW 按积分速度残差似然比对候选声流打分。
AI 推荐理由:该工作把听觉注意解码统一为条件似然框架,并报告在三个数据集上相对最强非生成基线的提升幅度。
AI 摘要语音脑机接口通过将言语相关神经活动转化为文本、合成语音或虚拟形象控制来恢复交流,皮层内与ECoG记录、深度序列模型及语言模型辅助解码的进展推动了高性能尝试性言语解码和更自然的语音合成。
AI 摘要研究团队利用高分辨率 ECoG 考察想象言语与发声过程中发音运动轨迹的共享与模态特异编码,发现额顶叶皮层在两种模态下均存在稳健的发音运动轨迹编码。中前运动、subcentral 及中央后-缘上回区域的超模态神经元群在整合规划阶段表现出时空稳定性,而想象言语与发声的模态特异神经元群在初级感觉运动皮层呈躯体拓扑交错分布。
AI 推荐理由:该研究用高分辨率 ECoG 比较想象言语与发声时的发音运动编码,并给出可迁移的通用解码框架,适合关注语音脑机接口解码路线的人参考。
AI 摘要语音神经假体解码尝试性言语后需用数十亿参数语言模型对候选句重排序,是唯一依赖 GPU 的环节。在 ALS 受试者 978 句留出测试集上,已发表解码器单独词错误率为 8.1%,Jev 重排序后达 7.5%,优于 OPT-6.7b 与 Qwen2.5-7B 的 7.8%;解码器权重重调后为 6.9% 对 7.2% 和 7.4%。
AI 摘要研究利用配对听想 MEG 数据集,在训练阶段用对比式神经解码器将 MEG 表征与声学和上下文语言表征对齐,提升听想语音的跨受试者词语解码;推理阶段引入神经约束束搜索框架,融合神经证据与语言模型下一词概率。结果显示想象语音解码比听语音解码更受益于语言模型,其神经与语言证据的最佳平衡更偏向语言模型,相对纯神经解码的增益更大。
AI 摘要研究提出 SICMD 方法,融合 fMRI 与 MEG 实现受试者不变的跨模态感知语音解码,同时应对时空神经表征提取与跨受试者泛化两大挑战。在跨受试者解码任务中,其 Top-1、Top-10 和 Rankacc 较基线方法分别提升超过 10.6%、10.1% 和 1.7%,训练成本较多人及单人解码设置分别降低 88.8% 和 60.5%。
AI 摘要一项基于 EEG 的想象语音解码研究在严格受试者独立评估框架下比较了两种特征提取流程,频谱带功率流程的试次级平均准确率显著高于时域统计特征流程(49.03 ± 4.18% vs. 37.97 ± 3.79%)。研究采用受试者间交叉验证与试次级多数投票,配合随机森林分类器,前向特征选择显示少数频段即可承载大部分判别信息。
AI 摘要一项 MEG 研究用前向选择算法寻找自发与意图言语解码的最优传感器子集,发现平均仅需 7-8 个传感器、最多不超过 24 个,即可达到与全头皮 200 多个传感器相当的解码性能。
AI 推荐理由:研究用前向选择算法筛选 MEG 传感器子集,给出可穿戴 MEG 语音脑机接口在传感器数量与采样率上的工程参考。
AI 摘要研究团队用47名肌萎缩侧索硬化受试者的1065段解码数据和五个语言模型,考察脑机接口中AI代理的推理与控制问题。以重建的解码器置信度提示代理,在匹配覆盖率下未能将不忠实执行降到确定性门控以下,两个模型显著更差;最高22个百分点的表面安全增益来自更少行动,有时是无效工具调用而非显式弃权。
AI 推荐理由:研究用47名ALS受试者的1065段解码数据比较语言模型代理与确定性门控,为脑机接口解码不确定性的控制问题提供可迁移方法。
AI 摘要Brain2Speech-Net 是一种单阶段神经到语音生成框架,跳过中间文本解码,通过可微分音素瓶颈和 deep-HMM 对齐机制将长时神经记录映射到 TTS 模型潜空间。在对比系统中,它是唯一在生成速度快于实时的情况下仍能产出可懂语音的系统。
AI 摘要2026 PNPL 竞赛基于扩展数据集 LibriBrain100 设置词分类任务,该数据集在原有单受试者约 50 小时 MEG 数据基础上新增 32 名受试者(每人约 40 分钟)及约 80 小时单受试者数据。竞赛设 Deep 与 Broad 两条赛道:前者追求单受试者大规模词分类的最优性能,后者聚焦跨受试者泛化,将受试者特定微调数据从约 40 分钟逐步压缩至约 20 分钟、约 10 分钟。
AI 摘要研究者提出开放词汇互信息(OVMI),一种信息论指标,用于衡量解码器相对于用户可能表达词汇参考分布所传达的信息量,从而把不同词汇表、记录方式和语音类型下测得的语音脑机接口能力放到同一通信尺度上比较。
AI 摘要美国多机构团队(末位作者 Flinker,通讯作者之一 Devinsky)利用颅内 ECoG 高分辨率记录和受控句子产出实验,发现编码词级信息与高阶语言信息的皮层网络呈混合空间组织,既广泛分布于传统语言区,又在经典语言区出现对语义和结构对比的局部敏感集中。
AI 推荐理由:研究用颅内 ECoG 记录句子产出过程,发现词级与高阶语言信息的编码网络大多不重叠,可供语言解码研究对照。
AI 摘要多机构团队提出一种基于 transformer 的解码器模型,在六名皮层内语音脑机接口受试者数据上联合训练。对每名受试者,无论性别、病因或尝试说话策略,多用户模型解码语音的准确率都高于单用户数据训练的模型,平均相对 WER 降低超过 50%。该多用户模型在留出用户少于 200 句数据上微调后,WER 可低于 7%。
AI 推荐理由:六名皮层内语音脑机接口受试者的数据被联合训练,读者可据此了解跨用户数据汇聚对解码准确率与部署速度的影响。
AI 摘要Duke University 的 G. B. Cogan 团队在八名接受清醒神经外科手术的患者上,用高密度 μECoG 阵列记录感觉运动皮层,通过 PCA 提取潜在动态并用 CCA 跨患者对齐,训练出跨患者语音解码模型。
AI 推荐理由:八名受试者的术中 μECoG 数据显示,跨患者对齐潜在动态后语音解码可超过个体模型,读者可据此比较跨患者与个体化训练路线。
AI 摘要Meta 的非侵入式脑机接口 Brain2Qwerty 实现 61% 准确率。该研究结果由 infoq.com 报道。
AI 摘要Stanford 大学 Francis R. Willett 团队利用 8 名瘫痪受试者植入的 20 个皮层内微电极阵列,在单神经元尺度上绘制了人类中央前回(PCG)的全身运动表征图谱,发现每个采样点都存在可区分的全身运动表征。
AI 摘要哥伦比亚大学 Nima Mesgarani 团队 5 月 11 日在 Nature Neuroscience 发表研究,用听觉注意解码(AAD)根据脑活动实时调节双说话人语音的音量。
AI 摘要研究团队提出 ASME-speller,一种 30 类听觉脑机接口拼写器,将听觉流分离与 QWERTY 键盘布局结合,用低频、中频、高频三条听觉流分别对应键盘下、中、上三行,用户只需选择性注意目标字母所在流即可完成拼写。
AI 摘要Blackrock Neurotech 团队提出端到端脑到文本(BIT)框架,用单一可微神经网络把神经活动直接翻译为句子,将此前端到端方法的词错误率(WER)从 24.69% 降至 10.22%。