跳到正文

语音解码

从神经信号解码言语、文字与语言的研究与系统。

35条精选相关主题运动解码ECoG皮层内

最新精选

第 1–20 条 · 共 35 条
10月22日周四
  1. Bing News:brain implant78

    Neuralink 公布 ALS 患者 Terry 借助 N1 植入物用思维发声

    AI 摘要Neuralink 发布视频,展示其 N1 脑机接口帮助一名 2024 年确诊延髓型 ALS 的男性 Terry 用思维发声,他是该公司 VOICE 临床研究的第三位受试者。系统记录与言语相关的神经活动,解码为文字并通过基于 Terry 病前录音合成的语音读出,他先模仿发音动作训练,后练习仅靠想象说出词语。该植入物仍属研究性器械,尚未获得 FDA 批准。

    AI 推荐理由:Neuralink 公布 VOICE 研究第三位受试者的语音解码演示,读者可据此了解脑机接口在 ALS 语音恢复上的当前进展与未解问题。

  2. arXiv q-bio.NC(Neurons and Cognition)62

    哥伦比亚大学 Nima Mesgarani 团队用可解释特征分解语音模型与 ECoG 脑响应的对齐

    AI 摘要哥伦比亚大学 Nima Mesgarani 团队基于六类可解释特征(mel 频谱、Gabor 滤波器组、语音存在、音素、句法、语义)与 Whisper、HuBERT、WavLM 三种语音基础模型的上下文嵌入,构建线性编码模型,量化各特征类别共享的 ECoG 响应方差。

    AI 推荐理由:研究用方差分解把语音基础模型与脑响应的对齐拆到可解释特征层面,便于比较不同模型层级与脑编码的关系。

10月21日周三
  1. arXiv(brain-computer interface)56

    牛津 Oiwi Parker Jones 团队提出训练期 logit 平均,称刷新非侵入式语音脑机接口最优结果

    AI 摘要牛津大学 Oiwi Parker Jones 团队(第一作者 Miran Özdogan)在预印本中系统比较了非侵入式神经解码的六种多试次聚合策略,覆盖三个数据集、四项任务和两种组规模。

    AI 推荐理由:该预印本系统比较六种多试次聚合策略,并给出训练期 logit 平均在语音解码任务上的相对优势与理论解释。

10月20日周二
  1. Journal of Neural Engineering(Crossref)55

    研究用可解释 AI 区分 EEG 语音解码中的神经贡献与肌电伪迹

    AI 摘要一项发表于 Journal of Neural Engineering 的研究用可解释 AI 方法分析基于超高密度 EEG 的卷积神经网络语音解码,试图区分神经活动与发音时产生的肌电伪迹。

    AI 推荐理由:摘要用可解释 AI 拆开 EEG 语音解码中神经信号与肌电伪迹的贡献,为判断非侵入式语音脑机接口的信号来源提供方法参照。

  2. arXiv q-bio.NC(Neurons and Cognition)55

    Ingo Marquardt 团队按 Llama-3.1-8B 逐层训练 EEG 解码器,发现词义信息集中在浅层、篇章语境信息随深度上升

    AI 摘要Ingo Marquardt 团队在 arXiv 预印本中为 Llama-3.1-8B 的每一层各训练一个解码器,用 19 通道 EEG 记录默读过程,并区分词级可解码性与语境追踪成分。

    AI 推荐理由:研究逐层比较 Llama-3.1-8B 各层作为解码目标的效果,为 EEG 语言解码器的目标层选择提供了一个可参考的设计维度。

10月17日周六
  1. Journal of Neural Engineering62

    奥克兰大学 Luke E Hallum 团队:想象发声时的面部肌肉活动会污染 EEG 并可用于情绪解码

    AI 摘要奥克兰大学 Luke E Hallum 团队用 64 通道 EEG 开展两项实验,让受试者进行真实发声(n = 14)或想象发声(n = 21)五类情绪(愤怒、快乐、中性、悲伤、愉悦),单试次 EEG 的情绪解码准确率分别为 78.1%(随机水平 20%)和 36.4%。

    AI 推荐理由:研究用 EEG 与面部 sEMG 同步记录,指出想象发声时面部肌肉活动会污染信号并影响情绪解码,可供做想象语音解码的团队参考。

  2. arXiv eess.SP(Signal Processing)62

    arXiv 预印本:头皮 EEG 语音解码的阳性对照与检测下限审计

    AI 摘要Blessing Isoyiza Adeika 与 Onyema Osuagwu 的预印本审计了 ds003626、KaraOne 和 2020 国际脑机接口竞赛 Track 3 三个数据集上的头皮 EEG 语音解码。

    AI 推荐理由:这篇预印本用注入已知幅度效应的方法测量五类解码器的检测下限,并指出头皮 EEG 语音解码中肌电信号主导阳性对照的问题,可供方法学对照。

10月16日周五
  1. arXiv(brain-computer interface)72

    Ting Han 团队提出 BEST 框架:以 3.85% 参数量在语音脑机接口基准上取得 6.19% 和 1.62% WER

    AI 摘要Ting Han 团队提出 BEST(Brain-Encoding-Speech-Text)两阶段框架,用分层中间表征和紧凑的语音解码器把神经活动直接映射为文本,不依赖大型生成模型或音素流程。

    AI 推荐理由:在语音脑机接口训练数据稀缺的背景下,这项研究用参数规模对比说明解码器扩容的收益并非单调。

10月15日周四
  1. Bing News:brain implant67

    Science News 梳理语音脑机接口进展:ALS 患者用植入电极解码言语

    AI 摘要Science News 报道,ALS 患者 Casey Harrell 通过 UC Davis 临床试验中植入左侧语音运动皮层的四组电极阵列解码言语,据研究人员 6 月在 Nature Medicine 报告,他已用该系统交流近 200 万词。

    AI 推荐理由:以一位 ALS 受试者的日常使用为线索,串起语音脑机接口从 BrainGate 到 Paradromics 的技术演进与现存限制。

10月14日周三
  1. ClinicalTrials.gov:脑机接口新注册试验62

    Cognixion 注册 30 名 ALS 受试者试验,比较 Cognixion ONE 脑机接口与眼动沟通设备

    AI 摘要Cognixion 在 ClinicalTrials.gov 注册一项研究,比较可穿戴脑机接口沟通设备 Cognixion ONE 与 ALS 患者已在使用的眼动沟通设备。

    AI 推荐理由:试验把自愿使用时长作为主要指标,读者可据此了解 ALS 沟通设备如何从眼动转向脑机接口输入的比较设计。

10月11日周日
  1. Bing 新闻:脑机接口 对话66

    Nature Neuroscience 对话 Sergey Stavisky:言语脑机接口正走向实际通信系统

    AI 摘要加州大学戴维斯分校副教授 Sergey Stavisky 在 Nature Neuroscience 特刊访谈中表示,言语神经假体正从概念验证迈入实际通信系统阶段,其团队从语音运动皮层记录信号可解码音素、副语言要素乃至手部与全身动作。

    AI 推荐理由:Stavisky 以一线研究者身份谈言语脑机接口从概念验证走向通信系统的工程瓶颈与神经隐私边界,可对照其团队既有解码研究。

10月9日周五
  1. arXiv(brain-computer interface)62

    清华大学高小榕团队提出 LaS:用语言描述监督神经解码器

    AI 摘要清华大学高小榕团队提出 Language as Supervision(LaS),将神经特征与自然语言类别描述对齐,并用候选文本原型预测类别,替代传统的类别标签监督。

    AI 推荐理由:提出以自然语言类别描述替代类别标签监督,在视觉、运动、语音解码上验证,可对照现有解码监督方式。

10月3日周六
  1. Nature Communications(Neuroscience)67

    苏黎世大学 Timothée Proix 团队在人类颞上回记录语义预测与语音神经动力学的对齐

    AI 摘要苏黎世大学与日内瓦大学等机构的 Timothée Proix 团队在 Nature Communications 发表研究,利用人类颞上回的电极记录,考察自上而下的语义预测如何与语音相关的神经元动力学对齐。

    AI 推荐理由:研究在人类颞上回直接记录神经元活动,观察自上而下的语义预测如何与语音相关神经动力学对齐,可供语音解码研究参考。

10月1日周四
  1. Crossref(Nature Neuroscience · Nature Biomedical Engineering · Nature Electronics · Nature Medicine)62

    Nature Neuroscience 对话 Edward Chang:语音脑机接口的演进

    AI 摘要Nature Neuroscience 在神经技术特刊中对话 UCSF 神经外科教授 Edward Chang,讨论语音脑机接口的演进。他谈到 AI 进展正在加速脑机接口向临床转化,恢复自然交流仍面临挑战,大规模神经数据集可能最终有助于构建人脑计算模型。访谈由 Henrietta Howells 撰写,发表于该刊第 29 卷。

    AI 推荐理由:Edward Chang 在访谈中谈语音脑机接口从研究走向临床的路径,以及 AI 与大规模神经数据集在其中的作用。

  2. Europe PMC(brain-computer interface · PubMed)55

    UCLA Pouratian 与 Speier 团队分析大语言模型辅助 P300 拼写器的多模型性能上界

    AI 摘要美国研究团队用 78 名受试者的 EEG 数据做仿真,系统评估多种语言模型对 P300 拼写脑机接口的打字速度提升,并引入理想化 LLM 建立性能上界。结果显示打字速度在受试者内训练下最高提升约 45%,跨受试者训练下最高提升约 75%,多个高性能模型与理论性能上界相差在 5% 以内。作者认为 LLM 辅助的 P300 拼写器在该解码框架内已接近上界,主要瓶颈从语言建模转向神经信号解码。

    AI 推荐理由:研究用78名受试者的EEG仿真比较多种语言模型,并给出LLM辅助P300拼写器的性能上界,可据此判断瓶颈已从语言建模转向神经信号解码。

9月30日周三
  1. arXiv(brain-computer interface)58

    莱斯大学 Donald S. Williamson 团队提出 NEUROTOKEN,用条件流匹配统一听觉注意解码

    AI 摘要莱斯大学 Donald S. Williamson 团队提出 NEUROTOKEN,用一个共享 EEG 前端的网络同时完成方向性听觉注意解码与声源听觉注意解码,其条件流匹配模块 ATTUNEFLOW 按积分速度残差似然比对候选声流打分。

    AI 推荐理由:该工作把听觉注意解码统一为条件似然框架,并报告在三个数据集上相对最强非生成基线的提升幅度。

  2. Cognixion 博客78

    Cognixion 公布 Apple Vision Pro 脑机接口居家研究结果:四名受试者五个月完成 186 次会话

    AI 摘要Cognixion 公布其与 Apple Vision Pro 集成的非侵入式 EEG 脑机接口居家研究结果,四名受试者(三名 ALS、一名慢性卒中后遗症)在四个家庭中完成五个月共 186 次会话,其中 146 次为脑机接口会话、40 次为通信会话,全程由家属或照护者操作,无严重不良事件。

    AI 推荐理由:四名受试者在自家客厅完成五个月非侵入式EEG通信,读者可据此了解居家场景下BCI的实际可用性与个体化配置需求。

9月29日周二
  1. Europe PMC(brain-computer interface · Top journals)77

    高分辨率 ECoG 研究揭示想象言语与发声的共享及特异编码

    AI 摘要研究团队利用高分辨率 ECoG 考察想象言语与发声过程中发音运动轨迹的共享与模态特异编码,发现额顶叶皮层在两种模态下均存在稳健的发音运动轨迹编码。中前运动、subcentral 及中央后-缘上回区域的超模态神经元群在整合规划阶段表现出时空稳定性,而想象言语与发声的模态特异神经元群在初级感觉运动皮层呈躯体拓扑交错分布。

    AI 推荐理由:该研究用高分辨率 ECoG 比较想象言语与发声时的发音运动编码,并给出可迁移的通用解码框架,适合关注语音脑机接口解码路线的人参考。

9月24日周四
  1. Bing News:Neuralink implant84

    Neuralink 语音试验第三位受试者通过植入芯片重新说出“我爱你”

    AI 摘要Neuralink 语音试验的第三位受试者、因 ALS 失去说话能力的 Terry Mandable,通过植入语音运动区的芯片将意图说话时的神经信号解码为文字和语音,在演示中向妻子说出“I love you”。

    AI 推荐理由:ALS 受试者通过 Neuralink 语音解码说出完整句子,读者可了解该系统在语音运动区的实际表现与试验阶段。

9月23日周三
  1. Europe PMC(brain-computer interface · PubMed)56

    研究用前向选择算法筛选 MEG 语音解码的最优传感器子集

    AI 摘要一项 MEG 研究用前向选择算法寻找自发与意图言语解码的最优传感器子集,发现平均仅需 7-8 个传感器、最多不超过 24 个,即可达到与全头皮 200 多个传感器相当的解码性能。

    AI 推荐理由:研究用前向选择算法筛选 MEG 传感器子集,给出可穿戴 MEG 语音脑机接口在传感器数量与采样率上的工程参考。