bioRxiv(Neuroscience)· Teo Imoto-Tar·· 9 天前AI 评分47
CortexDecoder:从皮层平展图重建 fMRI 所见图像
CortexDecoder: fMRI-to-image Reconstruction from Cortical Flatmaps
AI 导读
CortexDecoder 将 fMRI 数据投影到皮层表面并展开为 2D 平展图,再切块送入预训练 CortexMAE 编码器得到脑 token,经跨注意力桥接映射到图像特征。
AI 要点
团队
Teo Imoto-Tar(原文未列所属机构)
主要结果
在单名受试者评估中,CortexDecoder 的表现与当前最先进的脑解码方法相当;作者称 flatmap 保留了足够信号,可用于高性能解码。
解决什么问题
原始 fMRI 信号噪声大、维度高,解码困难;把原始 fMRI 重塑为 flatmap 后,可以干净地做基于 patch 的 tokenization。
方法
把 fMRI 皮层 flatmap 的 patch 输入预训练 CortexMAE 编码器得到 brain tokens,经跨注意力桥接映射到图像特征,再由微调 SDXL 生成重建图像。
局限
从研究设计看,仅做了单名受试者评估,未报告更大样本的验证。
AI 依据原文整理,未经人工核对。
来源:bioRxiv(Neuroscience) · biorxiv.org