在这篇论文中，我们提出了一种改进的结构化剪枝方法，旨在解决将自适应特征保留（AFR）这一无结构剪枝技术应用于结构化剪枝时所面临的关键挑战。
具体而言，应用AFR于结构化剪枝时会遇到三个主要问题：异构剪枝评分之间的分布不匹配、指示优化方向一致性的符号信息丢失，以及异常值的影响。为了解决这些问题，我们提出了一种统一的方法，结合了非线性分布对齐的幂次变换、保符号的评分聚合以及基于百分位数的异常值去除。
我们的实验在Llama-3-8B、Vicuna-v1.5-13B和LLaVA-v1.5-13B模型上进行，结果表明，我们的方法在保持与无结构剪枝相当的准确率的同时，通过结构化剪枝实现了实际推理速度的提升。
博主点评： 本文提出的结构化剪枝方法有效解决了传统剪枝技术中的多个难点，尤其是在保持模型性能的同时提升推理效率方面的贡献尤为显著。随着大语言模型的普及，该方法对于优化计算资源的使用具有重要意义。