Context compaction 让长程编码代理能够超出上下文窗口继续工作，但可能会擦除完成任务所需的状态。以往评估关注效率、信息保留或端到端成功率，难以单独衡量历史替换的影响。Compact‑Bench 将同一仓库状态下的完整历史和仅摘要的续写配对，评估重复细节和连续生产压缩的保留情况。
实验覆盖 35 项 SWE‑bench 修复、146 次代理会话和 106 条生产链。针对 14 种摘要模型，完整历史成功率的损失在 5%‑64% 之间：Claude Opus 4.8 保留最多修复，DeepSeek‑Flash 损失最大。使用 Kimi‑K3 作为摘要模型时，Kimi Code 提示保留了 19/22 的任务续写，而 Claude Code 提示保留了最高的重复细节比例 15.0%。LLM 摘要最多保留 16.0% 的重复细节，机械抽取可达 79.1%；在首次边界处，生产摘要保留 15.7%。
失败在方法间重复出现：有一项修复被 13/14 种模型损坏，另一项被所有 5 种提示损坏。这表明可靠的压缩必须保留完成任务所需的进度，仅保留相关信息并不足以保证成功续写。代码和数据分别在 GitHub 和 HuggingFace 上公开。
点评