arXiv q-bio.NC(Neurons and Cognition)·· 5 小时前精选AI 评分60
Dartmouth 的 Emily Finn 团队发现低维子空间可捕捉大语言模型与人类神经活动的线性对齐
A Low-Rank Space Captures Linear Alignment Between LLM and Human Neural Activity During Naturalistic Language Listening
AI 导读
Dartmouth 的 Emily Finn 团队用岭降秩回归定位大语言模型表征中能线性预测神经响应的子空间,发现仅用原始嵌入维度 1-3% 即可恢复完整线性编码性能。
AI 要点
团队
第一作者 Zach Paris、末位作者 Emily Finn,共 2 位作者。
主要结果
仅用原始嵌入维度 1–3% 即可恢复完整线性编码性能;这些低维子空间可泛化到留出被试,跨数据集泛化较弱。
解决什么问题
LLM 表征中哪些成分驱动其与神经活动的对齐此前不清楚,研究用岭降秩回归找出可预测大脑的子空间。
方法
三个自然语言聆听数据集,涵盖颅内电生理与 fMRI;六种模型条件,涵盖自回归、双向掩码与随机初始化语言模型。
局限
从研究设计看,跨数据集泛化程度有限,且为线性预测框架下的分析。
AI 依据原文整理,未经人工核对。
AI 推荐理由
研究用降秩回归找出大语言模型表征中预测神经活动的低维子空间,并说明它与主成分方向并不重合。
来源:arXiv q-bio.NC(Neurons and Cognition) · arxiv.org