Agentic harness 演化通过利用任务执行经验来优化指令、工具和控制流,将这些经验视为演化证据。直观上,增加演化任务应提升性能,但我们的初步实验发现一个悖论:任务池扩大时,现有方法的表现反而下降。进一步分析表明,根本原因在于优化过程中证据选择不佳,不同的证据组合会导致截然不同的演化结果。为了解决该问题,我们提出了连续规模竞赛(SSR)框架。SSR 在每一轮演化中自适应搜索最优证据组合,依据任务质量和覆盖度构造多样化的证据集合,并在有限算力预算下对候选 harness 进行高效竞赛。实验在三个基准的六种配置上均实现了最新水平。尤其是任务池从 40 增至 200 时,SSR 的通过率从 64.3% 稳步提升至 68.3%,而所有基线方法的表现均出现下降。其竞赛机制还能在减少 60% 验证执行的同时找到近似最优的候选方案。
点评:SSR 通过精细的证据组合搜索和资源高效的竞赛策略,成功突破了任务规模扩展带来的性能瓶颈,为代理式系统的自适应优化提供了可行路径。