arXiv(brain-computer interface)·· 2026-09-02AI 评分27
基于 EEG 的视觉检索与重建:从神经可见最优层到分层扩散生成
EEG-based Visual Retrieval and Reconstruction: From Neurally Visible Optimal Layer to Hierarchical Diffusion Generation
AI 导读
研究提出分层对比学习框架,为每位受试者从 CLIP 中间层中选出检索性能最优的神经可见最优层(NVOL),并据此将检索与生成耦合到共享中间表示。在 THINGS-EEG 上,NVOL 检索在 200 类中取得 78.1% 平均 Top-1 准确率,结合 CSLS 提升至 86.4%;两阶段 NVOL 到语义重建在语义与结构指标上优于单阶段末层扩散。
AI 要点
团队
第一作者 Minyi Wang,末位作者 Rihui Li,共 3 位作者。
主要结果
THINGS-EEG 上 NVOL 检索 200 类 Top-1 平均 78.1%,加 CSLS 后升至 86.4%;两阶段 NVOL 到语义重建在语义与结构指标上优于单阶段末层扩散。
解决什么问题
现有视觉解码多直接把 EEG 特征对齐预训练视觉模型的语义特征,忽略不同视觉成分在 EEG 中神经可见性不同,导致跨模态失配与信息利用不完整。
方法
逐层对比学习为每名受试者选出检索最优的 CLIP 中间层作 NVOL;检索分支融合多 NVOL 特征并用 CSLS 缓解 hubness,生成分支用条件扩散先验重建受试者 NVOL 特征,经轻量适配器映射到 CLIP 空间驱动 Stable Diffusion XL。
局限
从研究设计看,验证仅在 THINGS-EEG 数据集上完成,未报告其他数据集或在线使用结果。
AI 依据原文整理,未经人工核对。
来源:arXiv(brain-computer interface) · arxiv.org