arXiv q-bio.NC（Neurons and Cognition）·2026-10-06 12:00· 18 天前精选AI 评分62

魏茨曼研究所 Michal Irani 团队提出 Brain-IT-VQA：从 fMRI 信号到视觉问答

Brain-IT-VQA: From Brain Signals to Answers

AI 导读

魏茨曼研究所 Michal Irani 团队提出 Brain-IT-VQA，一个从 fMRI 信号进行视觉问答的框架，其解码表示以问题本身为条件，而非像以往方法那样提取固定表示。

AI 要点

团队

第一作者 Roman Beliy，末位作者 Michal Irani，共 5 位作者。

主要结果

提出 Brain-IT-VQA 框架，据作者称其表现大幅优于此前基于 fMRI 的图像描述与 VQA 方法；并发布 NSD-VQA 数据集与基准。

解决什么问题

从观看图像时记录的 fMRI 信号中解码视觉内容并回答关于所见图像的问题，此前性能仍有限。

方法

与以往从 fMRI 信号提取固定表征不同，其表征提取以问题本身为条件；NSD-VQA 每张图像平均 20 组问答，覆盖 20 个受控问题类别。

局限

从研究设计看，fMRI 测试数据有限；原文称该基准用于在测试数据有限的情况下实现更可靠、可解释的评估。

AI 依据原文整理，未经人工核对。

AI 推荐理由

提出按问题条件化解码 fMRI 信号的 VQA 框架，并配套 20 类受控问答基准，可用于比较不同视觉与语义信息的可解码程度。