摘要
正二次网络允许低秩表示形式 $f_U(x)=x^\top UU^\top x$，其中 $U\in\mathbb{R}^{d\times r}$ 仅在右正交乘法下可识别，表示一个秩为 $r$ 的PSD矩阵 $Q=UU^\top$。我们研究这种商结构如何影响训练动态、曲率、恢复和插值偏差。
在全列秩的层次上，我们将 $\mathbb{R}^{d\times r}_*/O(r)$ 与秩为 $r$ 的PSD流形相识别。对于平滑目标 $L(U)=\ell(UU^\top)$，欧几里得因子梯度是水平的。因此，因子梯度流确切地投影到商黎曼梯度流上，而有限步的梯度下降则诱导出预测器的精确同构递归。
对于二次回归，我们推导出插值点的有效Hessian，作为相对于商度量的切空间限制下的经验测量Gram形式。在高斯秩一测量下，我们计算了总体曲率，证明了经验正常算子的均匀偏差界限，构建了一个谱初始化器，并为梯度流建立了局部指数收敛和小步下降的线性收敛。
恢复保证是明确的但保守，因为依赖于全空间的二阶矩控制。在欠定的可交换状态下，因子梯度流在联合谱坐标中成为精确的熵镜像流。严格正的初始化收敛于插值集的Bregman投影。采用各向同性初始化 $q(0)=\varepsilon^2\mathbf{1}$，预测器在 $\varepsilon\downarrow0$ 时接近最小迹解集，通过不变的联合谱代数中的加权熵来解决非唯一性。有限步下降选择的插值点与连续时间Bregman投影的差异为 $O(\eta)$。
数值实验验证了这些商恒等式、曲率预测、恢复行为和选择法则。
博主点评： 本文深入探讨了正二次网络的训练动态与曲率特性，提供了新的理论框架来理解模型的插值偏差，尤其在高维数据处理中的应用潜力。理论与实验的结合，为未来的研究提供了有价值的方向。