本文提出一种基于模型空间微分几何距离的参数剪枝新方案。剪枝相当于将参数置零,使模型移动到该参数为零的超曲面上。利用费舍尔信息度量定义的测地距离,可以自然地计算未剪枝模型到该超曲面的最小距离,这一距离量化了剪枝后模型的真实变化及其性能。通过逐步引入更精确的测地距离近似,得到一系列剪枝方法的最优层级:从传统的幅值剪枝出发,逐步发展出更复杂且更有效的方案。实验在全连接网络和视觉Transformer上,分别使用MNIST和CIFAR‑10数据集,覆盖 $0$‑$100\%$ 的完整剪枝范围,并在五个随机种子下重复验证。结果显示,无论是准确率还是Matthews相关系数,本文方法均优于仅基于幅值或局部费舍尔信息的剪枝,在所有架构和数据集组合中均保持领先。进一步分析不同测地近似层次,得到计算成本低且性能接近最优的中间剪枝方案。该几何视角不仅提供了最先进的剪枝技术,也为剪枝策略提供了经数学验证的理论依据。
点评:几何化的剪枝思路将模型空间的真实变化量化,为实际部署提供了可靠且高效的方案。