深度神经网络通常包含大量的隐藏状态冗余，但大多数压缩方法直接作用于权重、神经元或量化表示，而未明确表征内部状态的动态角色。本文提出了一种基于可控性和可观测性的框架，用于深度神经网络的实证状态阶次降低。通过将训练好的网络视为一个深度索引的非线性动态系统，我们从隐藏状态快照和输出雅可比矩阵构建数据驱动的可达性、可观测性和平衡Gramians。由此得到的A/B/C测试估计了逐层的可达、可观测及联合可达-可观测秩。这些秩不仅用于诊断隐藏状态冗余，也作为实现压缩网络的实际层宽度。
在MNIST和CIFAR-10上的实验比较了所提出的平衡实现与基于投影的降维、无结构剪枝、结构剪枝、低秩SVD、动态INT8量化和线性基准。在MNIST上，四层SiLU DNN的状态阶次从1024减少到277，达成72.95%的状态压缩和73.48%的参数压缩，同时保持95.45%的准确率，相较于全模型的96.60%。在CIFAR-10上，一个更大的SiLU DNN的状态阶次从4608减少到1339，实现70.94%的状态压缩和83.09%的参数压缩，准确率从54.45%降低至54.44%，CUDA推理延迟减少约3倍。结果表明，平衡可达-可观测秩为设计紧凑神经架构提供了原则性的实证最小实现标准，几乎不损失准确性。
博主点评： 本文提出的可控性与可观测性框架为神经网络压缩提供了新的视角，通过实证方法有效减少隐藏状态，平衡压缩与准确性，具有重要的理论和实际应用价值。未来的研究可以进一步探索该方法在更复杂网络结构上的应用潜力。