Recursive self‑improvement(递归自我提升)要求 AI 系统能够改进后续系统使用的模型和基础设施。LLM 压缩提供了一个具体的效率目标:在更小的存储预算内保留预训练模型的行为。我们探讨编码代理是否能够自主完成这一步。
我们将压缩定义为一个终端任务:代理收到源检查点、存储上限、推理环境和时间预算后,生成压缩后的权重以及可执行的推理代码。代理自行决定压缩算法并进行实验,使用 perplexity(困惑度)反馈指导搜索,最终通过独立验证检查模型正确性。
在六个不同的代理和六组模型‑规模设置上进行实验,36 次提交中有 29 次通过验证。对每个任务选取 perplexity 最低的代理设计,其平均 perplexity 比 BF16 增加 3.4%,下游任务准确率为 77.33%,而 BF16 为 79.56%。实验记录显示:
- 在 24 次模型修订中,代理在几乎固定的存储条件下降低了 perplexity(21 次)。
- 完整模型反馈逆转了先前局部排名中的 17 项(共 79 项)。
- 生成和推理测试揭示了仅靠 likelihood(似然)无法发现的失败案例。
这些结果表明,表示设计、实验判断以及能力验证是代理驱动模型压缩的核心要素,也是面向效率的自我提升的可度量组成部分。
点评:本文提供了系统化的评估框架,展示了编码代理在 LLM 压缩中的潜力与局限,为未来的自我改进研究指明了方向。