评估在实时、可变企业数据上运行的对话代理非常困难，重放的会话会随后端状态变化而漂移，今天构建的基准也会因数据迁移而悄然失效。
我们提出一种离线评估框架，即使底层数据不断变化，也能保持评估结果可复现；当基准陈旧时，可按需快速重新生成对应的评估集。
该框架被用作 GEPA（基因表达式编程）提示优化的适应度函数，并在优化过程中加入正确性门槛，以防止奖励黑客攻击导致的误导性提升。
在真实的面向商家的生产代理上实验，正确性门控的压缩将完整提示表面削减 3.5%‑7.6%，且在三个独立的模型族上均未出现任务正确率回退，其中一个模型族的正确率甚至有所提升。
结果表明，离线可复现评估能够为提示压缩提供可靠的安全保障。
点评