arXiv(brain-computer interface)·· 2026-09-19AI 评分42
RPA:用残差图块 Token 适配器从 EEG 和 MEG 中检索图像
RPA: Residual Patch-Token Adapter for Image Retrieval from EEG and MEG
AI 导读
研究者提出残差图块适配器(RPA),一种轻量模块化适配器,利用 ViT 视觉编码器中间层的全部图块 token 与 M/EEG 信号对齐。在 THINGS-EEG2 上取得受试者内 Top-1 准确率 95.4%、跨受试者 35.5%,在 THINGS-MEG 上分别为 65.2% 和 6.7%,两个数据集均达 SOTA。
AI 要点
团队
第一作者 Yuhui Jin,末位作者 Bingchuan Liu,共 3 位作者。
主要结果
THINGS-EEG2 上被试内 Top-1 95.4%、跨被试 35.5%;THINGS-MEG 上分别为 65.2% 和 6.7%,两个数据集均达 SOTA。
解决什么问题
现有 M/EEG 视觉解码多将脑信号对齐到预训练视觉编码器的单一全局嵌入,未验证中间层 patch 表示能否改善表示学习。
方法
提出轻量模块化适配器 RPA,利用 ViT 视觉编码器中间层的全部 patch token 进行对齐;用消融分析和六项定量特征分析评估。
局限
从研究设计看,跨被试准确率明显低于被试内(THINGS-MEG 仅 6.7%),且结果基于当前协议。
AI 依据原文整理,未经人工核对。
来源:arXiv(brain-computer interface) · arxiv.org