arXiv q-bio.NC（Neurons and Cognition）·· 3 小时前AI 评分26
噪声线性循环神经网络学习动力学理论
A theory of noisy linear recurrent neural network learning dynamics
AI 导读
一项理论分析表明，内在噪声能显著调节循环神经网络（RNN）的表征学习，可强烈打破解空间简并，并在某些情况下决定非简并解是否存在。研究基于线性激活函数与白噪声输入的可解析模型，发现在权重初始值较小的“丰富区”，噪声强烈影响读入、读出与循环权重的对齐方向，并产生相变：噪声足够高时，若参数尺度受限（如通过正则化），非简并解甚至不再最优。
AI 要点
团队
第一作者 John J. Vastola，末位作者 Kanaka Rajan，共 2 位作者。
主要结果
在权重初始值较小的 rich regime 下，噪声强烈影响 read-in、readout 与循环权重的对齐方向；噪声足够高时，若参数尺度受限（如正则化），非退化解甚至不再最优。
解决什么问题
探讨内在噪声是否实质影响循环神经网络（RNN）的表征学习，还是仅为可忽略的干扰因素。
方法
采用线性激活函数与白噪声输入的可解析 RNN 学习模型进行理论分析。
局限
从研究设计看，结论来自线性激活、白噪声的解析模型，未涉及非线性网络或生物数据。
AI 依据原文整理，未经人工核对。
来源：arXiv q-bio.NC（Neurons and Cognition） · arxiv.org