在固定的隐私预算下，差分隐私（DP）训练的效用最终由其优化效率决定。传统的第一阶 DP 优化器如 DP-SGD 仅依赖局部梯度，忽视了潜在的损失曲率。这种几何盲目性在不良条件下导致严重的锯齿形波动，浪费了宝贵的隐私预算，导致训练效率低下。
因此，实践者面临两难：要么提前停止训练，要么在每一步注入大量噪声，这两者都严重影响最终模型的效用。自然梯度下降（NGD）通过用曲率预处理梯度来解决这个问题，使更新与损失几何对齐，从每个有噪声的步骤中提取更高效的信号，从而提供了一条突破隐私-效用瓶颈的原则性路径。
尽管其理论吸引力显著，但将 NGD 直接与 DP 集成引入了根本性挑战：曲率估计本身消耗巨大的隐私预算，等向 DP 操作与 NGD 的非等向缩放相冲突，而逆曲率在平坦方向上会灾难性地放大参数更新，导致训练不稳定。
我们提出了 DP-NGD，一个实用框架，通过将曲率估计与私有数据解耦，调和等向 DP 约束与非等向二阶优化，采用去白化空间机制，并动态限制曲率以稳定训练，系统性地解决这些障碍。对标准基准的广泛实验表明，DP-NGD 在实现最先进准确度的同时，突破了第一阶基线的效用极限，并在相同隐私预算下实现高达 $10\times$ 的收敛加速。