arXiv q-bio.NC（Neurons and Cognition）·2026-10-22 12:00· 2 天前精选AI 评分62

哥伦比亚大学 Nima Mesgarani 团队用可解释特征分解语音模型与 ECoG 脑响应的对齐

Interpretable Embeddings of Speech Enhance and Explain Brain Encoding Performance of Audio Models

AI 导读

哥伦比亚大学 Nima Mesgarani 团队基于六类可解释特征（mel 频谱、Gabor 滤波器组、语音存在、音素、句法、语义）与 Whisper、HuBERT、WavLM 三种语音基础模型的上下文嵌入，构建线性编码模型，量化各特征类别共享的 ECoG 响应方差。

AI 要点

团队

第一作者 Riki Shimizu，末位作者 Nima Mesgarani，共 4 位作者。

主要结果

SFM 与大脑响应的对齐大部分可由其编码简单可解释语音特征的能力解释；SFM 各层在脑相关低层与高层特征编码上存在系统性权衡。

解决什么问题

语音基础模型表征是黑箱，其与脑响应对齐的驱动因素不明；研究用可解释特征量化 ECoG 响应方差归属。

方法

基于六类可解释特征（mel 频谱、Gabor 滤波器组、语音存在、音素、句法、语义）与 Whisper、HuBERT、WavLM 的上下文嵌入构建线性编码模型，对 ECoG 响应做方差分解。

局限

从研究设计看，为线性编码模型与方差分解分析，未设对照干预。

AI 依据原文整理，未经人工核对。

AI 推荐理由

研究用方差分解把语音基础模型与脑响应的对齐拆到可解释特征层面，便于比较不同模型层级与脑编码的关系。