bioRxiv（Neuroscience）· Guoyuan Yang·2026-10-06 08:00· 19 天前AI 评分22

SAIL：用稀疏自编码器实现人类视觉与多模态大语言模型的可解释对齐

SAIL: Sparse Autoencoders for Interpretable Alignment of Human Vision and Multimodal Large Language Models

AI 导读

研究者提出 SAIL 框架，将体素解读建模为多模态大语言模型与人类视觉之间的多单元稀疏语义对应问题，在 Natural Scenes Dataset 图像与描述上训练统一的跨层稀疏自编码器（SAE），把每个脑体素与多个 SAE 单元对齐。

AI 要点

团队

作者 Guoyuan Yang（原文未列出所属机构及合作者）

主要结果

SAIL 的 SAE 单元响应冗余低于逐层独立训练的 SAE，语义对齐更高；语义对齐沿人类腹侧视觉通路组织；预测与 fLoc 实测类别响应模式一致。

解决什么问题

模型与大脑表征的相似性无法直接揭示对应关系背后的语义内容，因为该内容难以从纠缠的 MLLM 表征中分离。

方法

在 Natural Scenes Dataset 图像与描述的 MLLM 表征上训练统一跨层稀疏自编码器，将每个脑体素对齐到多个 SAE 单元，用 top-response 图像集量化语义相似度，并用独立 fLoc 实验的类别响应评估。

局限

从研究设计看，为预印本，语义对齐的评估依赖既有 fLoc 实验数据，动作相关语义分析为探索性分析。

AI 依据原文整理，未经人工核对。