深度神经网络在庞大参数空间中表现出高度非线性动力学，却呈现出规则的宏观行为。我们在函数空间直接构建统计力学描述，把参数配置视为微观实现，把函数及其动力学算子视为宏观变量。对于均方误差损失，误差演化精确由学习算子 $M=JJ^{*}$ 控制。将条件随机动力学的玻尔兹曼权重与参数空间的态密度相结合，局部曲率定义统计算子 $B$，对局部波动积分得到
$$ \Phi{\mathrm{fluc}}(M;B)=\frac{\sigma{\xi}^{2}}{2}\log\det(M^{-1}+B)+\mathrm{const}. $$
在固定谱的情况下，当 $[M,B]=0$ 时该项对旋转不变；通过让 $M$ 的大特征值配对 $B$ 的小特征值可使其最小化，并对旋转失配提供局部恢复力。对于满足温和稳定统计条件的 ReLU 类函数空间，有 $B=\sigma_{\xi}^{2}L^{*}\mathcal{K}L$，其中 $L$ 捕捉粗粒化的二阶结构。因此低 $B$ 区域对应（在 $\mathcal{K}$ 有界各向异性下）低结构曲率，意味着学习倾向于在平滑、数据自适应的方向上更快松弛。上述结果表明，函数空间是研究学习中稳定集体组织的自然宏观层次。
点评