NeFut Logo NeFut
EN 管理员登录

[AI学术] ACE-Compression:面向能力的压缩大语言模型评估

发布于:2026-10-22 22:00 最后更新:2026-10-25 13:04
#algorithm #AI #LLM

模型压缩让大语言模型可以部署,但传统评估只看任务得分,忽略了压缩对数十亿参数中分布式知识的扰动。我们提出 ACE-Compression 框架,从能力角度审视压缩模型:不再问“压缩后模型还能否正确回答”,而是问“它的核心能力哪些仍然完整”。框架聚焦四个面向部署的维度——程序推理与约束执行、知识落地与真实性、社会认知与情感理解、人格保持与风格一致性。我们在六个开源 LLM 上生成 35+ 个量化和剪枝的压缩检查点进行实验,发现压缩会重新分配能力谱:表层、局部的信号往往保留,而细粒度、长尾、上下文依赖的能力则更脆弱。量化在能力保留上普遍优于剪枝,但具体优势取决于应用所需的能力类型。基于这些发现,部署者可以依据能力画像而非单一平均分选择压缩方法,算法设计者也能获得诊断信号以构建更有针对性的压缩技术。ACE-Compression 将压缩从黑箱的准确率下降转化为可解释、可测量、可改进的干预手段。

点评

原文链接: https://arxiv.org/abs/2610.27913

[h] 返回首页