arXiv q-bio.NC（Neurons and Cognition）·· 10 小时前AI 评分51
明尼苏达大学Tanishq Mathew Abraham团队提出MindEye2，用1小时fMRI数据实现图像重建
MindEye2: Shared-Subject Models Enable fMRI-To-Image With 1 Hour of Data
AI 导读
明尼苏达大学Tanishq Mathew Abraham团队等提出MindEye2，先在7名受试者数据上预训练，再用新受试者仅1小时的fMRI训练数据微调，即可重建其看到的图像。
AI 要点
团队
第一作者 Paul S. Scotti，末位作者 Tanishq Mathew Abraham，共 11 位作者，含 Thomas Naselaris、Kenneth A. Norman。
主要结果
仅用 1 小时 fMRI 训练数据即实现高质量图像重建，图像检索与重建指标优于单被试方法。
解决什么问题
此前模型需按被试单独训练，每人要数十小时昂贵 fMRI 数据，实用性受限。
方法
先在 7 名被试上预训练，再对新被试少量数据微调；线性映射到共享被试潜空间，再非线性映射到 CLIP 空间，用微调的 Stable Diffusion XL 生成像素图像。
局限
从研究设计看，预训练依赖 7 名被试的既有数据，新被试仅做少量数据微调验证。
AI 依据原文整理，未经人工核对。
来源：arXiv q-bio.NC（Neurons and Cognition） · arxiv.org