arXiv q-bio.NC(Neurons and Cognition)·· 5 天前精选AI 评分55
Ingo Marquardt 团队按 Llama-3.1-8B 逐层训练 EEG 解码器,发现词义信息集中在浅层、篇章语境信息随深度上升
Deep LLM layers expose passage-level context in EEG during silent reading
AI 导读
Ingo Marquardt 团队在 arXiv 预印本中为 Llama-3.1-8B 的每一层各训练一个解码器,用 19 通道 EEG 记录默读过程,并区分词级可解码性与语境追踪成分。
AI 要点
团队
第一作者 Ingo Marquardt、末位作者 Priyanka Jain,共 3 位作者
主要结果
词级可解码性在早期层达到峰值,并随层数加深而下降;上下文追踪成分随深度上升,单个 0.5 秒 EEG 窗口即可追踪段落级信息
解决什么问题
考察 EEG 可解码结构在 Llama-3.1-8B 全部 33 层上的分布,区分词级解码与上下文追踪
方法
对 19 通道静默阅读 EEG,为每层各训练一个解码器,分带与不带因果 transformer 两种;另设目标几何对照与跨 run 预测置换对照
局限
从研究设计看,为可行性研究,未设对照受试者组;对照为合成预测与预测置换,非独立人群验证
AI 依据原文整理,未经人工核对。
AI 推荐理由
研究逐层比较 Llama-3.1-8B 各层作为解码目标的效果,为 EEG 语言解码器的目标层选择提供了一个可参考的设计维度。
来源:arXiv q-bio.NC(Neurons and Cognition) · arxiv.org