跳到正文
原文
arXiv q-bio.NC(Neurons and Cognition)·· 5 小时前精选AI 评分60

Tim Kietzmann 团队用自监督 JEPA 编码器实现跨受试者 fMRI 表征对齐

Latent Prediction Yields Cross-Subject Alignable Representations in Sensory-Evoked fMRI

AI 导读

德国图宾根大学 Tim Kietzmann 团队将联合嵌入预测架构(JEPA)适配为仅用脑数据训练受试者专属编码器,编码器不接触刺激图像。在 Natural Scenes Dataset(NSD)上,该方法在脑描述生成和图像重建任务上接近使用图像与语言数据端到端训练的监督流程。

AI 要点
团队
第一作者 Serwan Jassim,末位作者 Tim Kietzmann,共 5 位作者
主要结果
自监督脑嵌入在脑描述与图像重建上,与使用图像和语言数据端到端训练的监督流程表现相当;不同被试独立训练的编码器可完全无监督对齐,对齐后解码头跨被试免微调仍保留大部分被试内性能
解决什么问题
探索自监督学习在感觉诱发 fMRI 解码中的应用,并减少对图像和共享刺激的依赖,朝向跨被试、跨数据集汇集 fMRI 数据
方法
将联合嵌入预测架构(JEPA)改造为仅用脑数据训练被试专属编码器,编码器不见刺激图像;在 Natural Scenes Dataset(NSD)上评估脑描述、图像重建与跨被试泛化
局限
从研究设计看,仅在 NSD 单一数据集上评估,未涉及其他数据集

AI 依据原文整理,未经人工核对。

点击跳转原始链接arxiv.org
AI 推荐理由

在 NSD 的 fMRI 数据上,自监督编码器无需图像即可跨受试者对齐,为汇总多人数据提供了一条可迁移的方法路径。

来源:arXiv q-bio.NC(Neurons and Cognition) · arxiv.org