NeFut Logo NeFut
EN 管理员登录

[AI学术] CompressionBench:你的编码代理能压缩 LLM 吗?

发布于:2026-11-06 22:00 最后更新:2026-11-07 12:32
#AI #Machine Learning #LLM

Recursive self‑improvement(递归自我提升)要求 AI 系统能够改进后续系统使用的模型和基础设施。LLM 压缩提供了一个具体的效率目标:在更小的存储预算内保留预训练模型的行为。我们探讨编码代理是否能够自主完成这一步。

我们将压缩定义为一个终端任务:代理收到源检查点、存储上限、推理环境和时间预算后,生成压缩后的权重以及可执行的推理代码。代理自行决定压缩算法并进行实验,使用 perplexity(困惑度)反馈指导搜索,最终通过独立验证检查模型正确性。

在六个不同的代理和六组模型‑规模设置上进行实验,36 次提交中有 29 次通过验证。对每个任务选取 perplexity 最低的代理设计,其平均 perplexity 比 BF16 增加 3.4%,下游任务准确率为 77.33%,而 BF16 为 79.56%。实验记录显示:

这些结果表明,表示设计、实验判断以及能力验证是代理驱动模型压缩的核心要素,也是面向效率的自我提升的可度量组成部分。

点评:本文提供了系统化的评估框架,展示了编码代理在 LLM 压缩中的潜力与局限,为未来的自我改进研究指明了方向。

原文链接: https://arxiv.org/abs/2611.06858

[h] 返回首页