跳到正文

#语音解码

今日 0 条
10月22日周四
  1. arXiv q-bio.NC(Neurons and Cognition)62

    哥伦比亚大学 Nima Mesgarani 团队用可解释特征分解语音模型与 ECoG 脑响应的对齐

    AI 摘要哥伦比亚大学 Nima Mesgarani 团队基于六类可解释特征(mel 频谱、Gabor 滤波器组、语音存在、音素、句法、语义)与 Whisper、HuBERT、WavLM 三种语音基础模型的上下文嵌入,构建线性编码模型,量化各特征类别共享的 ECoG 响应方差。

    AI 推荐理由:研究用方差分解把语音基础模型与脑响应的对齐拆到可解释特征层面,便于比较不同模型层级与脑编码的关系。

10月21日周三
  1. arXiv(brain-computer interface)56

    牛津 Oiwi Parker Jones 团队提出训练期 logit 平均,称刷新非侵入式语音脑机接口最优结果

    AI 摘要牛津大学 Oiwi Parker Jones 团队(第一作者 Miran Özdogan)在预印本中系统比较了非侵入式神经解码的六种多试次聚合策略,覆盖三个数据集、四项任务和两种组规模。

    AI 推荐理由:该预印本系统比较六种多试次聚合策略,并给出训练期 logit 平均在语音解码任务上的相对优势与理论解释。

10月20日周二
  1. Journal of Neural Engineering(Crossref)55

    研究用可解释 AI 区分 EEG 语音解码中的神经贡献与肌电伪迹

    AI 摘要一项发表于 Journal of Neural Engineering 的研究用可解释 AI 方法分析基于超高密度 EEG 的卷积神经网络语音解码,试图区分神经活动与发音时产生的肌电伪迹。

    AI 推荐理由:摘要用可解释 AI 拆开 EEG 语音解码中神经信号与肌电伪迹的贡献,为判断非侵入式语音脑机接口的信号来源提供方法参照。

  2. arXiv q-bio.NC(Neurons and Cognition)55

    Ingo Marquardt 团队按 Llama-3.1-8B 逐层训练 EEG 解码器,发现词义信息集中在浅层、篇章语境信息随深度上升

    AI 摘要Ingo Marquardt 团队在 arXiv 预印本中为 Llama-3.1-8B 的每一层各训练一个解码器,用 19 通道 EEG 记录默读过程,并区分词级可解码性与语境追踪成分。

    AI 推荐理由:研究逐层比较 Llama-3.1-8B 各层作为解码目标的效果,为 EEG 语言解码器的目标层选择提供了一个可参考的设计维度。

10月19日周一
  1. bioRxiv(Neuroscience)38

    研究:衰老与说话和默读之间的脑电地形分化减弱相关

    AI 摘要一项脑电(EEG)研究对比15名年轻人和15名老年人的说话与默读任务,发现两组EEG信号强度和行为表现相近,但年轻人在508-629 ms和660-800 ms区间的全局差异指数(DISS)更高,即说话与默读的神经空间构型更分明。TANOVA显示229-334 ms和377-538 ms区间存在年龄相关的头皮地形差异。研究认为衰老与两种语言任务间神经分化减弱相关,尤其在运动指令准备等后期加工阶段。

  2. bioRxiv(Neuroscience)38

    语音神经假体如何建模副语言特征:一篇系统综述

    AI 摘要一篇系统综述梳理了将语调、韵律、响度和情感等副语言特征纳入语音神经假体设计的研究进展。综述指出,现有系统虽能解码音素和词汇信息,却常无法捕捉这些对传达情绪与意图至关重要的维度;相关研究已刻画腹侧前运动区和辅助运动区的表达性编码,外周与多模态传感在解码情绪状态上展现出可观准确率。这些发现指向融合情感调控与语言解码的闭环神经假体系统。

10月17日周六
  1. arXiv q-bio.NC(Neurons and Cognition)42

    研究团队用对比学习框架实现 EEG 想象言语解码与文本语义对齐

    AI 摘要研究团队将多模态对比学习框架用于想象言语解码,在冻结预训练文本编码器的嵌入空间中对齐 EEG 试次与语言表征,在 Chisco 想象言语数据集 5 名受试者、39 个意图类别上取得与任务优化闭集分类器相当的解码性能。最大 EEG-文本余弦相似度(MaxCosine)可识别出 Top-1 和 Top-5 准确率更高的留出试次子集,五个评估期语义轴的平均一致率均高于 50% 随机参考。

  2. Journal of Neural Engineering62

    奥克兰大学 Luke E Hallum 团队:想象发声时的面部肌肉活动会污染 EEG 并可用于情绪解码

    AI 摘要奥克兰大学 Luke E Hallum 团队用 64 通道 EEG 开展两项实验,让受试者进行真实发声(n = 14)或想象发声(n = 21)五类情绪(愤怒、快乐、中性、悲伤、愉悦),单试次 EEG 的情绪解码准确率分别为 78.1%(随机水平 20%)和 36.4%。

    AI 推荐理由:研究用 EEG 与面部 sEMG 同步记录,指出想象发声时面部肌肉活动会污染信号并影响情绪解码,可供做想象语音解码的团队参考。

  3. arXiv eess.SP(Signal Processing)62

    arXiv 预印本:头皮 EEG 语音解码的阳性对照与检测下限审计

    AI 摘要Blessing Isoyiza Adeika 与 Onyema Osuagwu 的预印本审计了 ds003626、KaraOne 和 2020 国际脑机接口竞赛 Track 3 三个数据集上的头皮 EEG 语音解码。

    AI 推荐理由:这篇预印本用注入已知幅度效应的方法测量五类解码器的检测下限,并指出头皮 EEG 语音解码中肌电信号主导阳性对照的问题,可供方法学对照。

10月16日周五
  1. arXiv(brain-computer interface)72

    Ting Han 团队提出 BEST 框架:以 3.85% 参数量在语音脑机接口基准上取得 6.19% 和 1.62% WER

    AI 摘要Ting Han 团队提出 BEST(Brain-Encoding-Speech-Text)两阶段框架,用分层中间表征和紧凑的语音解码器把神经活动直接映射为文本,不依赖大型生成模型或音素流程。

    AI 推荐理由:在语音脑机接口训练数据稀缺的背景下,这项研究用参数规模对比说明解码器扩容的收益并非单调。

10月12日周一
  1. bioRxiv(Neuroscience)22

    自然叙事语音 MEG 研究:句法与韵律的神经编码相互依赖

    AI 摘要一项结合心理语言学与自然主义神经科学的 MEG 研究,让 26 名受试者(19 名女性)聆听叙事语音,发现句法与韵律存在双向交互:短语闭合处若伴随强韵律边界,其神经编码更强;而韵律边界强度也主要在句法短语闭合处被编码。结果表明二者并非独立编码,而是以情境依赖、相互约束的方式共同支持自然语音理解。

10月10日周六
  1. arXiv eess.SP(Signal Processing)39

    自监督语音表征用于清醒开颅术中跨说话人构音障碍检测

    AI 摘要一项基于 DATABRASE 清醒开颅术录音语料的研究,系统评估了构音障碍语音检测流程,采用说话人日志分离患者语音、多层 wav2vec 2.0 自监督表征结合手工声学特征、说话人条件归一化与基于可迁移性的特征选择,以及梯度提升与神经网络级联分类器,并在留一说话人交叉验证下评估。

  2. arXiv eess.SP(Signal Processing)22

    SEER:面向人工耳蜗语音的检索式源条件情感增强框架

    AI 摘要SEER 是一种基于检索的框架,通过学习哪种同情感参考能让每个源在人工耳蜗处理后仍可识别,无需平行正常/强录音或强度标签。在 RAVDESS 上 N8 的 Source macro-F1 提升 7.30 分,在 ESD 上提升 11.66 分,ESD 在 N4/N8/N16 均有显著增益,16 名听者的 RAVDESS 增益在所有条件下均显著。

10月9日周五
  1. arXiv(brain-computer interface)62

    清华大学高小榕团队提出 LaS:用语言描述监督神经解码器

    AI 摘要清华大学高小榕团队提出 Language as Supervision(LaS),将神经特征与自然语言类别描述对齐,并用候选文本原型预测类别,替代传统的类别标签监督。

    AI 推荐理由:提出以自然语言类别描述替代类别标签监督,在视觉、运动、语音解码上验证,可对照现有解码监督方式。

10月8日周四
10月7日周三
  1. Europe PMC(brain-computer interface · Preprints)32

    基于锁相与空间特征的双分支深度学习模型实现 EEG 内语解码

    AI 摘要一项预印本研究提出双分支深度学习框架,结合瞬时锁相值与共空间模式提取特征,在两类公开 EEG 数据集上解码内语。在受试者依赖设置下,社会词与数字词平均准确率分别达 95.16±3.50% 和 95.96±2.40%,第二数据集为 90.23±10.61%;但受试者独立设置准确率仅 64.09±3.20% 和 52.19±2.64%,跨受试者泛化仍是难题。

10月1日周四
  1. Europe PMC(brain-computer interface · PubMed)55

    UCLA Pouratian 与 Speier 团队分析大语言模型辅助 P300 拼写器的多模型性能上界

    AI 摘要美国研究团队用 78 名受试者的 EEG 数据做仿真,系统评估多种语言模型对 P300 拼写脑机接口的打字速度提升,并引入理想化 LLM 建立性能上界。结果显示打字速度在受试者内训练下最高提升约 45%,跨受试者训练下最高提升约 75%,多个高性能模型与理论性能上界相差在 5% 以内。作者认为 LLM 辅助的 P300 拼写器在该解码框架内已接近上界,主要瓶颈从语言建模转向神经信号解码。

    AI 推荐理由:研究用78名受试者的EEG仿真比较多种语言模型,并给出LLM辅助P300拼写器的性能上界,可据此判断瓶颈已从语言建模转向神经信号解码。

9月30日周三
  1. arXiv(brain-computer interface)58

    莱斯大学 Donald S. Williamson 团队提出 NEUROTOKEN,用条件流匹配统一听觉注意解码

    AI 摘要莱斯大学 Donald S. Williamson 团队提出 NEUROTOKEN,用一个共享 EEG 前端的网络同时完成方向性听觉注意解码与声源听觉注意解码,其条件流匹配模块 ATTUNEFLOW 按积分速度残差似然比对候选声流打分。

    AI 推荐理由:该工作把听觉注意解码统一为条件似然框架,并报告在三个数据集上相对最强非生成基线的提升幅度。

9月29日周二
  1. Europe PMC(brain-computer interface · Top journals)77

    高分辨率 ECoG 研究揭示想象言语与发声的共享及特异编码

    AI 摘要研究团队利用高分辨率 ECoG 考察想象言语与发声过程中发音运动轨迹的共享与模态特异编码,发现额顶叶皮层在两种模态下均存在稳健的发音运动轨迹编码。中前运动、subcentral 及中央后-缘上回区域的超模态神经元群在整合规划阶段表现出时空稳定性,而想象言语与发声的模态特异神经元群在初级感觉运动皮层呈躯体拓扑交错分布。

    AI 推荐理由:该研究用高分辨率 ECoG 比较想象言语与发声时的发音运动编码,并给出可迁移的通用解码框架,适合关注语音脑机接口解码路线的人参考。

9月27日周日
  1. arXiv(brain-computer interface)39

    Jev 以无 GPU 托管模型为语音神经假体重排序,性能匹配 7B 语言模型

    AI 摘要语音神经假体解码尝试性言语后需用数十亿参数语言模型对候选句重排序,是唯一依赖 GPU 的环节。在 ALS 受试者 978 句留出测试集上,已发表解码器单独词错误率为 8.1%,Jev 重排序后达 7.5%,优于 OPT-6.7b 与 Qwen2.5-7B 的 7.8%;解码器权重重调后为 6.9% 对 7.2% 和 7.4%。

9月26日周六
  1. arXiv(brain-computer interface)32

    将语言模型整合进 MEG 听想语音解码

    AI 摘要研究利用配对听想 MEG 数据集,在训练阶段用对比式神经解码器将 MEG 表征与声学和上下文语言表征对齐,提升听想语音的跨受试者词语解码;推理阶段引入神经约束束搜索框架,融合神经证据与语言模型下一词概率。结果显示想象语音解码比听语音解码更受益于语言模型,其神经与语言证据的最佳平衡更偏向语言模型,相对纯神经解码的增益更大。

9月25日周五
  1. arXiv(brain-computer interface)27

    SICMD:融合 fMRI 与 MEG 的受试者不变跨模态感知语音解码

    AI 摘要研究提出 SICMD 方法,融合 fMRI 与 MEG 实现受试者不变的跨模态感知语音解码,同时应对时空神经表征提取与跨受试者泛化两大挑战。在跨受试者解码任务中,其 Top-1、Top-10 和 Rankacc 较基线方法分别提升超过 10.6%、10.1% 和 1.7%,训练成本较多人及单人解码设置分别降低 88.8% 和 60.5%。

9月24日周四
  1. arXiv(brain-computer interface)27

    基于 EEG 的想象语音解码:一项严格受试者独立的方法研究

    AI 摘要一项基于 EEG 的想象语音解码研究在严格受试者独立评估框架下比较了两种特征提取流程,频谱带功率流程的试次级平均准确率显著高于时域统计特征流程(49.03 ± 4.18% vs. 37.97 ± 3.79%)。研究采用受试者间交叉验证与试次级多数投票,配合随机森林分类器,前向特征选择显示少数频段即可承载大部分判别信息。

9月23日周三
  1. Europe PMC(brain-computer interface · PubMed)56

    研究用前向选择算法筛选 MEG 语音解码的最优传感器子集

    AI 摘要一项 MEG 研究用前向选择算法寻找自发与意图言语解码的最优传感器子集,发现平均仅需 7-8 个传感器、最多不超过 24 个,即可达到与全头皮 200 多个传感器相当的解码性能。

    AI 推荐理由:研究用前向选择算法筛选 MEG 传感器子集,给出可穿戴 MEG 语音脑机接口在传感器数量与采样率上的工程参考。

9月17日周四
  1. Europe PMC(brain-computer interface · Preprints)66

    研究:脑机接口中AI代理的推理与控制分离

    AI 摘要研究团队用47名肌萎缩侧索硬化受试者的1065段解码数据和五个语言模型,考察脑机接口中AI代理的推理与控制问题。以重建的解码器置信度提示代理,在匹配覆盖率下未能将不忠实执行降到确定性门控以下,两个模型显著更差;最高22个百分点的表面安全增益来自更少行动,有时是无效工具调用而非显式弃权。

    AI 推荐理由:研究用47名ALS受试者的1065段解码数据比较语言模型代理与确定性门控,为脑机接口解码不确定性的控制问题提供可迁移方法。

9月4日周五
9月3日周四
  1. arXiv(brain-computer interface)30

    2026 PNPL 竞赛:LibriBrain100 上的词分类与高效跨受试者泛化

    AI 摘要2026 PNPL 竞赛基于扩展数据集 LibriBrain100 设置词分类任务,该数据集在原有单受试者约 50 小时 MEG 数据基础上新增 32 名受试者(每人约 40 分钟)及约 80 小时单受试者数据。竞赛设 Deep 与 Broad 两条赛道:前者追求单受试者大规模词分类的最优性能,后者聚焦跨受试者泛化,将受试者特定微调数据从约 40 分钟逐步压缩至约 20 分钟、约 10 分钟。

8月5日周三
  1. Europe PMC(brain-computer interface · Top journals)62

    NYU 等团队用 ECoG 记录句子产出,发现高阶语言信息编码与活动幅度解离

    AI 摘要美国多机构团队(末位作者 Flinker,通讯作者之一 Devinsky)利用颅内 ECoG 高分辨率记录和受控句子产出实验,发现编码词级信息与高阶语言信息的皮层网络呈混合空间组织,既广泛分布于传统语言区,又在经典语言区出现对语义和结构对比的局部敏感集中。

    AI 推荐理由:研究用颅内 ECoG 记录句子产出过程,发现词级与高阶语言信息的编码网络大多不重叠,可供语言解码研究对照。

7月27日周一
  1. Europe PMC(brain-computer interface · Preprints)82

    多机构团队提出跨六名受试者联合训练的通用语音神经假体解码器

    AI 摘要多机构团队提出一种基于 transformer 的解码器模型,在六名皮层内语音脑机接口受试者数据上联合训练。对每名受试者,无论性别、病因或尝试说话策略,多用户模型解码语音的准确率都高于单用户数据训练的模型,平均相对 WER 降低超过 50%。该多用户模型在留出用户少于 200 句数据上微调后,WER 可低于 7%。

    AI 推荐理由:六名皮层内语音脑机接口受试者的数据被联合训练,读者可据此了解跨用户数据汇聚对解码准确率与部署速度的影响。

7月16日周四
  1. Nature Portfolio(Brain–machine interface)66

    Duke G. B. Cogan 团队用 μECoG 对齐跨患者潜在动态提升语音解码

    AI 摘要Duke University 的 G. B. Cogan 团队在八名接受清醒神经外科手术的患者上,用高密度 μECoG 阵列记录感觉运动皮层,通过 PCA 提取潜在动态并用 CCA 跨患者对齐,训练出跨患者语音解码模型。

    AI 推荐理由:八名受试者的术中 μECoG 数据显示,跨患者对齐潜在动态后语音解码可超过个体模型,读者可据此比较跨患者与个体化训练路线。

7月14日周二
6月17日周三
  1. Nature Portfolio(Brain–machine interface)80

    Stanford Francis R. Willett 团队在 8 名瘫痪受试者中绘制单神经元尺度的人类中央前回全身运动图谱

    AI 摘要Stanford 大学 Francis R. Willett 团队利用 8 名瘫痪受试者植入的 20 个皮层内微电极阵列,在单神经元尺度上绘制了人类中央前回(PCG)的全身运动表征图谱,发现每个采样点都存在可区分的全身运动表征。

5月24日周日
4月23日周四
11月21日周五