跳到正文

#语音解码

今日 0 条
10月22日周四
  1. Bing News:brain implant78

    Neuralink 公布 ALS 患者 Terry 借助 N1 植入物用思维发声

    AI 摘要Neuralink 发布视频,展示其 N1 脑机接口帮助一名 2024 年确诊延髓型 ALS 的男性 Terry 用思维发声,他是该公司 VOICE 临床研究的第三位受试者。系统记录与言语相关的神经活动,解码为文字并通过基于 Terry 病前录音合成的语音读出,他先模仿发音动作训练,后练习仅靠想象说出词语。该植入物仍属研究性器械,尚未获得 FDA 批准。

    AI 推荐理由:Neuralink 公布 VOICE 研究第三位受试者的语音解码演示,读者可据此了解脑机接口在 ALS 语音恢复上的当前进展与未解问题。

  2. arXiv q-bio.NC(Neurons and Cognition)62

    哥伦比亚大学 Nima Mesgarani 团队用可解释特征分解语音模型与 ECoG 脑响应的对齐

    AI 摘要哥伦比亚大学 Nima Mesgarani 团队基于六类可解释特征(mel 频谱、Gabor 滤波器组、语音存在、音素、句法、语义)与 Whisper、HuBERT、WavLM 三种语音基础模型的上下文嵌入,构建线性编码模型,量化各特征类别共享的 ECoG 响应方差。

    AI 推荐理由:研究用方差分解把语音基础模型与脑响应的对齐拆到可解释特征层面,便于比较不同模型层级与脑编码的关系。

10月21日周三
  1. arXiv(brain-computer interface)56

    牛津 Oiwi Parker Jones 团队提出训练期 logit 平均,称刷新非侵入式语音脑机接口最优结果

    AI 摘要牛津大学 Oiwi Parker Jones 团队(第一作者 Miran Özdogan)在预印本中系统比较了非侵入式神经解码的六种多试次聚合策略,覆盖三个数据集、四项任务和两种组规模。

    AI 推荐理由:该预印本系统比较六种多试次聚合策略,并给出训练期 logit 平均在语音解码任务上的相对优势与理论解释。

10月20日周二
  1. Journal of Neural Engineering(Crossref)55

    研究用可解释 AI 区分 EEG 语音解码中的神经贡献与肌电伪迹

    AI 摘要一项发表于 Journal of Neural Engineering 的研究用可解释 AI 方法分析基于超高密度 EEG 的卷积神经网络语音解码,试图区分神经活动与发音时产生的肌电伪迹。

    AI 推荐理由:摘要用可解释 AI 拆开 EEG 语音解码中神经信号与肌电伪迹的贡献,为判断非侵入式语音脑机接口的信号来源提供方法参照。

  2. arXiv q-bio.NC(Neurons and Cognition)55

    Ingo Marquardt 团队按 Llama-3.1-8B 逐层训练 EEG 解码器,发现词义信息集中在浅层、篇章语境信息随深度上升

    AI 摘要Ingo Marquardt 团队在 arXiv 预印本中为 Llama-3.1-8B 的每一层各训练一个解码器,用 19 通道 EEG 记录默读过程,并区分词级可解码性与语境追踪成分。

    AI 推荐理由:研究逐层比较 Llama-3.1-8B 各层作为解码目标的效果,为 EEG 语言解码器的目标层选择提供了一个可参考的设计维度。

10月19日周一
  1. bioRxiv(Neuroscience)38

    研究:衰老与说话和默读之间的脑电地形分化减弱相关

    AI 摘要一项脑电(EEG)研究对比15名年轻人和15名老年人的说话与默读任务,发现两组EEG信号强度和行为表现相近,但年轻人在508-629 ms和660-800 ms区间的全局差异指数(DISS)更高,即说话与默读的神经空间构型更分明。TANOVA显示229-334 ms和377-538 ms区间存在年龄相关的头皮地形差异。研究认为衰老与两种语言任务间神经分化减弱相关,尤其在运动指令准备等后期加工阶段。

  2. bioRxiv(Neuroscience)38

    语音神经假体如何建模副语言特征:一篇系统综述

    AI 摘要一篇系统综述梳理了将语调、韵律、响度和情感等副语言特征纳入语音神经假体设计的研究进展。综述指出,现有系统虽能解码音素和词汇信息,却常无法捕捉这些对传达情绪与意图至关重要的维度;相关研究已刻画腹侧前运动区和辅助运动区的表达性编码,外周与多模态传感在解码情绪状态上展现出可观准确率。这些发现指向融合情感调控与语言解码的闭环神经假体系统。

10月17日周六
  1. arXiv q-bio.NC(Neurons and Cognition)42

    研究团队用对比学习框架实现 EEG 想象言语解码与文本语义对齐

    AI 摘要研究团队将多模态对比学习框架用于想象言语解码,在冻结预训练文本编码器的嵌入空间中对齐 EEG 试次与语言表征,在 Chisco 想象言语数据集 5 名受试者、39 个意图类别上取得与任务优化闭集分类器相当的解码性能。最大 EEG-文本余弦相似度(MaxCosine)可识别出 Top-1 和 Top-5 准确率更高的留出试次子集,五个评估期语义轴的平均一致率均高于 50% 随机参考。

  2. Journal of Neural Engineering62

    奥克兰大学 Luke E Hallum 团队:想象发声时的面部肌肉活动会污染 EEG 并可用于情绪解码

    AI 摘要奥克兰大学 Luke E Hallum 团队用 64 通道 EEG 开展两项实验,让受试者进行真实发声(n = 14)或想象发声(n = 21)五类情绪(愤怒、快乐、中性、悲伤、愉悦),单试次 EEG 的情绪解码准确率分别为 78.1%(随机水平 20%)和 36.4%。

    AI 推荐理由:研究用 EEG 与面部 sEMG 同步记录,指出想象发声时面部肌肉活动会污染信号并影响情绪解码,可供做想象语音解码的团队参考。

  3. arXiv eess.SP(Signal Processing)62

    arXiv 预印本:头皮 EEG 语音解码的阳性对照与检测下限审计

    AI 摘要Blessing Isoyiza Adeika 与 Onyema Osuagwu 的预印本审计了 ds003626、KaraOne 和 2020 国际脑机接口竞赛 Track 3 三个数据集上的头皮 EEG 语音解码。

    AI 推荐理由:这篇预印本用注入已知幅度效应的方法测量五类解码器的检测下限,并指出头皮 EEG 语音解码中肌电信号主导阳性对照的问题,可供方法学对照。

10月16日周五
  1. arXiv(brain-computer interface)72

    Ting Han 团队提出 BEST 框架:以 3.85% 参数量在语音脑机接口基准上取得 6.19% 和 1.62% WER

    AI 摘要Ting Han 团队提出 BEST(Brain-Encoding-Speech-Text)两阶段框架,用分层中间表征和紧凑的语音解码器把神经活动直接映射为文本,不依赖大型生成模型或音素流程。

    AI 推荐理由:在语音脑机接口训练数据稀缺的背景下,这项研究用参数规模对比说明解码器扩容的收益并非单调。

10月15日周四
  1. Bing News:brain implant67

    Science News 梳理语音脑机接口进展:ALS 患者用植入电极解码言语

    AI 摘要Science News 报道,ALS 患者 Casey Harrell 通过 UC Davis 临床试验中植入左侧语音运动皮层的四组电极阵列解码言语,据研究人员 6 月在 Nature Medicine 报告,他已用该系统交流近 200 万词。

    AI 推荐理由:以一位 ALS 受试者的日常使用为线索,串起语音脑机接口从 BrainGate 到 Paradromics 的技术演进与现存限制。

10月14日周三
  1. ClinicalTrials.gov:脑机接口新注册试验62

    Cognixion 注册 30 名 ALS 受试者试验,比较 Cognixion ONE 脑机接口与眼动沟通设备

    AI 摘要Cognixion 在 ClinicalTrials.gov 注册一项研究,比较可穿戴脑机接口沟通设备 Cognixion ONE 与 ALS 患者已在使用的眼动沟通设备。

    AI 推荐理由:试验把自愿使用时长作为主要指标,读者可据此了解 ALS 沟通设备如何从眼动转向脑机接口输入的比较设计。

10月12日周一
  1. Bing 新闻:脑机接口 临床20

    上海民盟盟员共探脑机接口产业发展

    AI 摘要民盟上海市委会“与盟同行·会客厅”闵行区专场活动9日在新虹桥研创中心举行,四位盟员专家从产业转化、临床实践、标准制定、知识产权四个维度解读脑机接口产业发展趋势。复旦大学附属华山医院主任医师吴劲松介绍了团队独创的汉语双流编码模型与解码算法,利用侵入式言语脑机接口帮助言语功能障碍患者重建言语表达能力。

  2. bioRxiv(Neuroscience)22

    自然叙事语音 MEG 研究:句法与韵律的神经编码相互依赖

    AI 摘要一项结合心理语言学与自然主义神经科学的 MEG 研究,让 26 名受试者(19 名女性)聆听叙事语音,发现句法与韵律存在双向交互:短语闭合处若伴随强韵律边界,其神经编码更强;而韵律边界强度也主要在句法短语闭合处被编码。结果表明二者并非独立编码,而是以情境依赖、相互约束的方式共同支持自然语音理解。

  3. Bing 新闻:脑机接口 临床12

    上海民盟盟员共探脑机接口产业发展

    AI 摘要民盟上海市委会“与盟同行·会客厅”闵行区专场活动9日在新虹桥研创中心举行,四位盟员专家从产业转化、临床实践、标准制定、知识产权四个维度解读脑机接口产业发展趋势。复旦大学附属华山医院主任医师吴劲松介绍了团队独创的汉语双流编码模型与解码算法,利用侵入式言语脑机接口帮助言语功能障碍患者重建言语表达能力。

10月11日周日
  1. Bing 新闻:脑机接口 临床12

    上海民盟盟员共探脑机接口产业发展

    AI 摘要民盟上海市委会"与盟同行·会客厅"闵行区专场9日在新虹桥研创中心举行,四位盟员专家从产业转化、临床实践、标准制定、知识产权四个维度解读脑机接口产业发展趋势。复旦大学附属华山医院主任医师吴劲松介绍了团队独创的汉语双流编码模型与解码算法,利用侵入式言语脑机接口帮助言语功能障碍患者重建言语表达能力。

  2. Bing 新闻:脑机接口 对话66

    Nature Neuroscience 对话 Sergey Stavisky:言语脑机接口正走向实际通信系统

    AI 摘要加州大学戴维斯分校副教授 Sergey Stavisky 在 Nature Neuroscience 特刊访谈中表示,言语神经假体正从概念验证迈入实际通信系统阶段,其团队从语音运动皮层记录信号可解码音素、副语言要素乃至手部与全身动作。

    AI 推荐理由:Stavisky 以一线研究者身份谈言语脑机接口从概念验证走向通信系统的工程瓶颈与神经隐私边界,可对照其团队既有解码研究。

10月10日周六
  1. arXiv eess.SP(Signal Processing)39

    自监督语音表征用于清醒开颅术中跨说话人构音障碍检测

    AI 摘要一项基于 DATABRASE 清醒开颅术录音语料的研究,系统评估了构音障碍语音检测流程,采用说话人日志分离患者语音、多层 wav2vec 2.0 自监督表征结合手工声学特征、说话人条件归一化与基于可迁移性的特征选择,以及梯度提升与神经网络级联分类器,并在留一说话人交叉验证下评估。

  2. arXiv eess.SP(Signal Processing)22

    SEER:面向人工耳蜗语音的检索式源条件情感增强框架

    AI 摘要SEER 是一种基于检索的框架,通过学习哪种同情感参考能让每个源在人工耳蜗处理后仍可识别,无需平行正常/强录音或强度标签。在 RAVDESS 上 N8 的 Source macro-F1 提升 7.30 分,在 ESD 上提升 11.66 分,ESD 在 N4/N8/N16 均有显著增益,16 名听者的 RAVDESS 增益在所有条件下均显著。

  3. Bing News:brain implant87

    UCSF Edward Chang 团队用单块 ECoG 植入物同时解码瘫痪受试者的语音与手势

    AI 摘要UCSF Edward Chang 团队在 Nature Neuroscience 报告,三名瘫痪受试者(BRAVO 临床试验,植入覆盖左侧感觉运动皮层的 253 通道 ECoG 阵列)用同一植入物同时解码语音与手势,驱动个性化全身虚拟形象。

    AI 推荐理由:三名瘫痪受试者用同一块 ECoG 阵列同时解码语音与手势,读者可对照此前单功能解码研究的训练与评估方式。

10月9日周五
  1. arXiv(brain-computer interface)62

    清华大学高小榕团队提出 LaS:用语言描述监督神经解码器

    AI 摘要清华大学高小榕团队提出 Language as Supervision(LaS),将神经特征与自然语言类别描述对齐,并用候选文本原型预测类别,替代传统的类别标签监督。

    AI 推荐理由:提出以自然语言类别描述替代类别标签监督,在视觉、运动、语音解码上验证,可对照现有解码监督方式。

  2. Bing News:brain implant80

    脑植入物让瘫痪患者通过虚拟形象同时说话和做手势

    AI 摘要一名60岁、 vocal tract 因ALS逐渐瘫痪的男性受试者 Bravo-6 尝试在同一时刻说出短语并做出手势,屏幕上的全身虚拟形象同时完成了这两个动作。该报道称脑植入物让瘫痪患者能够通过虚拟形象同时说话和做手势。

    AI 推荐理由:材料只给出单名ALS受试者用植入物同时驱动语音与手势的片段,可据此观察多模态输出在真实受试者上的进展。

10月8日周四
10月7日周三
  1. Europe PMC(brain-computer interface · Preprints)32

    基于锁相与空间特征的双分支深度学习模型实现 EEG 内语解码

    AI 摘要一项预印本研究提出双分支深度学习框架,结合瞬时锁相值与共空间模式提取特征,在两类公开 EEG 数据集上解码内语。在受试者依赖设置下,社会词与数字词平均准确率分别达 95.16±3.50% 和 95.96±2.40%,第二数据集为 90.23±10.61%;但受试者独立设置准确率仅 64.09±3.20% 和 52.19±2.64%,跨受试者泛化仍是难题。

10月6日周二
  1. Bing News:brain implant69

    脑植入物让瘫痪受试者通过意念控制虚拟形象同时说话和做手势

    AI 摘要一项实验性脑植入物技术让瘫痪受试者通过意念控制虚拟形象,同时说话和做手势,目前仅在两名受试者中完成测试,仍处于早期阶段。该技术未来或可帮助有运动障碍的人以更细腻的方式沟通。

    AI 推荐理由:材料只给出两名受试者的早期测试结果,读者可据此了解脑机接口同时解码语音与手势的探索方向。

10月3日周六
  1. Nature Communications(Neuroscience)67

    苏黎世大学 Timothée Proix 团队在人类颞上回记录语义预测与语音神经动力学的对齐

    AI 摘要苏黎世大学与日内瓦大学等机构的 Timothée Proix 团队在 Nature Communications 发表研究,利用人类颞上回的电极记录,考察自上而下的语义预测如何与语音相关的神经元动力学对齐。

    AI 推荐理由:研究在人类颞上回直接记录神经元活动,观察自上而下的语义预测如何与语音相关神经动力学对齐,可供语音解码研究参考。

10月1日周四
  1. Crossref(Nature Neuroscience · Nature Biomedical Engineering · Nature Electronics · Nature Medicine)62

    Nature Neuroscience 对话 Edward Chang:语音脑机接口的演进

    AI 摘要Nature Neuroscience 在神经技术特刊中对话 UCSF 神经外科教授 Edward Chang,讨论语音脑机接口的演进。他谈到 AI 进展正在加速脑机接口向临床转化,恢复自然交流仍面临挑战,大规模神经数据集可能最终有助于构建人脑计算模型。访谈由 Henrietta Howells 撰写,发表于该刊第 29 卷。

    AI 推荐理由:Edward Chang 在访谈中谈语音脑机接口从研究走向临床的路径,以及 AI 与大规模神经数据集在其中的作用。

  2. Crossref(Nature Neuroscience · Nature Biomedical Engineering · Nature Electronics · Nature Medicine)22

    Nature Neuroscience 特刊:神经技术的多重接口

    AI 摘要Nature Neuroscience 特刊聚焦脑机接口,收录侵入式皮层内解码打字研究,在两名四肢瘫受试者中恢复接近健全人的打字速度;另一项研究用 MEG 在非残障受试者中重建打字句子,验证非侵入式神经解码可行性。Edward Chang 团队同时解码语音与手势以驱动个性化虚拟形象,闭环注意力调控和选择性听觉放大系统也被展示。

  3. Crossref(Nature Neuroscience · Nature Biomedical Engineering · Nature Electronics · Nature Medicine)30

    对话 Sergey Stavisky

    AI 摘要Nature Neuroscience 刊发对 Sergey Stavisky 的访谈。Stavisky 是脑机接口领域研究者,其工作涉及语音解码与植入式神经接口。访谈具体内容未在提供的正文片段中披露。

  4. Europe PMC(brain-computer interface · PubMed)55

    UCLA Pouratian 与 Speier 团队分析大语言模型辅助 P300 拼写器的多模型性能上界

    AI 摘要美国研究团队用 78 名受试者的 EEG 数据做仿真,系统评估多种语言模型对 P300 拼写脑机接口的打字速度提升,并引入理想化 LLM 建立性能上界。结果显示打字速度在受试者内训练下最高提升约 45%,跨受试者训练下最高提升约 75%,多个高性能模型与理论性能上界相差在 5% 以内。作者认为 LLM 辅助的 P300 拼写器在该解码框架内已接近上界,主要瓶颈从语言建模转向神经信号解码。

    AI 推荐理由:研究用78名受试者的EEG仿真比较多种语言模型,并给出LLM辅助P300拼写器的性能上界,可据此判断瓶颈已从语言建模转向神经信号解码。

9月30日周三
  1. arXiv(brain-computer interface)58

    莱斯大学 Donald S. Williamson 团队提出 NEUROTOKEN,用条件流匹配统一听觉注意解码

    AI 摘要莱斯大学 Donald S. Williamson 团队提出 NEUROTOKEN,用一个共享 EEG 前端的网络同时完成方向性听觉注意解码与声源听觉注意解码,其条件流匹配模块 ATTUNEFLOW 按积分速度残差似然比对候选声流打分。

    AI 推荐理由:该工作把听觉注意解码统一为条件似然框架,并报告在三个数据集上相对最强非生成基线的提升幅度。

  2. Cognixion 博客78

    Cognixion 公布 Apple Vision Pro 脑机接口居家研究结果:四名受试者五个月完成 186 次会话

    AI 摘要Cognixion 公布其与 Apple Vision Pro 集成的非侵入式 EEG 脑机接口居家研究结果,四名受试者(三名 ALS、一名慢性卒中后遗症)在四个家庭中完成五个月共 186 次会话,其中 146 次为脑机接口会话、40 次为通信会话,全程由家属或照护者操作,无严重不良事件。

    AI 推荐理由:四名受试者在自家客厅完成五个月非侵入式EEG通信,读者可据此了解居家场景下BCI的实际可用性与个体化配置需求。

  3. Google News:brain-computer interface85

    Paradromics 如何为 Connexus 脑机接口设计长期耐用性

    AI 摘要Paradromics 在 2026 年 9 月展示其 Connexus 脑机接口帮助一名重度运动神经元疾病患者恢复实时语音,该患者是这项 10 人可行性研究的首位受试者,于 6 月植入系统。

    AI 推荐理由:文章披露了 Connexus 的电极材料、阵列尺寸和 10 年寿命目标,可对照其他皮层内系统的工程取舍。

9月29日周二
  1. Bing News:brain-computer interface80

    Paradromics 如何设计 Connexus 脑机接口的耐用性

    AI 摘要Paradromics 在 2026 年 9 月展示其 Connexus 脑机接口可帮助一名受严重运动神经元疾病影响的人恢复实时语音,这名来自密歇根州的 60 多岁女性是该 10 人可行性研究的首位受试者,于 6 月植入系统后能自行组织回答并回答开放式问题。

    AI 推荐理由:Paradromics 公开了 Connexus 的电极材料、阵列尺寸和动物长期植入数据,可与其人体可行性研究进展对照。

  2. Europe PMC(brain-computer interface · Top journals)77

    高分辨率 ECoG 研究揭示想象言语与发声的共享及特异编码

    AI 摘要研究团队利用高分辨率 ECoG 考察想象言语与发声过程中发音运动轨迹的共享与模态特异编码,发现额顶叶皮层在两种模态下均存在稳健的发音运动轨迹编码。中前运动、subcentral 及中央后-缘上回区域的超模态神经元群在整合规划阶段表现出时空稳定性,而想象言语与发声的模态特异神经元群在初级感觉运动皮层呈躯体拓扑交错分布。

    AI 推荐理由:该研究用高分辨率 ECoG 比较想象言语与发声时的发音运动编码,并给出可迁移的通用解码框架,适合关注语音脑机接口解码路线的人参考。