arXiv q-bio.NC（Neurons and Cognition）·2026-10-06 12:00· 18 天前AI 评分47

多模态序列到序列模型实现跨受试者预测自然刺激下的大脑反应

A Multimodal Sequence-to-Sequence Model for Cross-Subject Prediction of Brain Responses to Naturalistic Stimuli

AI 导读

研究者提出一种多模态序列到序列 Transformer，采用共享刺激编码器与轻量受试者特异性解码器的混合跨受试者参数化方案，从视觉、音频、语言及视觉-语言表征自回归预测全皮层 parcel-wise fMRI 时间序列。

AI 要点

团队

第一作者 Qianyi He，末位作者 Yuan Chang Leong，共 3 位作者。

主要结果

序列到序列时间建模在各皮层网络上优于单帧预测，增益可延伸至新刺激；共享刺激编码器加轻量个体解码器的混合架构优于全共享与全个体模型。

解决什么问题

自然视听叙事需整合长时程多模态输入并跨个体泛化，而个体间反应差异大。

方法

用 Courtois NeuroMod 项目 4 名深度采样受试者观看六季《Friends》和四部剧情长片的 fMRI 数据，以视觉、音频、语言及视觉-语言表征自回归预测全皮层分区 fMRI 时间序列。

局限

从研究设计看，仅 4 名深度采样受试者，为可行性验证而非大样本疗效或普适性证实。

AI 依据原文整理，未经人工核对。