跳到正文
原文
arXiv q-bio.NC(Neurons and Cognition)·· 16 天前精选AI 评分62

Nicola Toschi 团队提出 BRAID-fMRI:跨数据集 fMRI 视觉解码的共享 CLIP 空间

Many Brains, One Geometry: A Shared Visual-Semantic Space for Cross-Dataset fMRI Decoding

AI 导读

意大利罗马第二大学 Nicola Toschi 团队提出 BRAID-fMRI,一个用 CLIP 监督的跨个体、跨数据集 fMRI 视觉解码框架,把区域脑活动对齐到 512 维 CLIP ViT-B/32 表示。

AI 要点
团队
第一作者 Moein Khajehnejad,末位作者 Nicola Toschi,共 6 位作者。
主要结果
在 8 个匹配受试者条目上 Top-10 准确率 35.0±11.1%,高于 MindEye 式 pooled-CLIP 解码器(27.1±5.1%)和岭回归(21.1±9.1%),8 个条目中 7 个取得最高准确率。
解决什么问题
fMRI 视觉解码通常按受试者和实验各自为政,难以判断异质神经测量能否组织进同一计算几何。
方法
提出 BRAID-fMRI,用单个 ROI 级 Transformer(可选受试者条件化),在 8 个视觉 fMRI 数据集、93 个数据集特定受试者条目、430,007 次单试次反应、162,839 个独特刺激上,以多正例对比目标对齐 512 维 CLIP ViT-B/32 表征。
局限
从研究设计看,评估基于 8 个匹配受试者条目,且为与基线对比的解码准确率研究。

AI 依据原文整理,未经人工核对。

点击跳转原始链接arxiv.org
AI 推荐理由

读者可据此了解跨数据集 fMRI 视觉解码如何用 CLIP 对齐到统一空间,以及扩大数据来源对留出集准确率的影响。

来源:arXiv q-bio.NC(Neurons and Cognition) · arxiv.org