NeFut Logo NeFut
EN 管理员登录

[AI学术] 概率签名动力学:拆解两层网络中的模加学习

发布于:2026-10-10 22:00 最后更新:2026-10-12 00:49
#algorithm #Machine Learning #Artificial Intelligence

神经网络在模加任务上训练时,常会形成傅里叶结构的内部表征,从而实现精确的泛化。先前工作已经发现了这些傅里叶电路,但梯度下降如何从数据分布中挑选出它们仍未明晰。我们引入 概率签名 的概念,用条件统计量来刻画梯度的主导交互。对模加任务而言,概率签名表现为循环移位算子 $S$, 其在离散傅里叶变换 (DFT) 下被对角化,得到近似解耦的傅里叶模态动力学: $$\hat{w}_k' \approx \lambda_k \hat{w}_k,$$ 其中 $\lambda_k$ 由训练分布的条件协方差决定。该框架解释了傅里叶稀疏性、频率匹配和相位对齐的出现。\ 在标签噪声情形下,出现了一个悖论:受噪声污染的样本在早期损失下降速度比干净样本更快,尽管它们缺乏一致的泛化规则。我们发现噪声提升了条件标签冲突的概率,进而加强了共享坐标的早期强化效应,从而产生更快的损失下降。\ 该方法同样适用于其他算子。以 XOR 为例,实验中观察到的频率正好符合我们基于概率签名的预测。\

点评:本文通过概率签名把梯度交互映射到条件统计上,揭示了傅里叶模式在模加学习中的自然出现机制,并成功解释了噪声下的异常学习行为,为分析其他离散算子提供了通用工具。

原文链接: https://arxiv.org/abs/2610.11833

[h] 返回首页