Harness 演化通过在固定权重模型上自动优化提示、技能、工具以及编排代码，为提升代理系统提供了一条无需更新模型权重的路径。该过程在搜索集上迭代优化代理 Harness，以获得更高的性能。然而，这些提升到底有多少来源于基准特定的过拟合、额外的推理计算，或是能够在搜索集之外泛化的真正改进？
本文提出 Harness-Delta 归因 (HDA) 评估协议，将演化收益拆解为三部分：
- Artifact‑driven 过拟合——模型在搜索集上学习到的特定特征；
- 测试时扩展 (test‑time scaling)——因增加推理计算而产生的提升；
- 残差可泛化改进——除前两者之外的上限估计，代表可能的真实进步。
我们在数学、编码、创意以及完整代理任务上，对 11 种执行模型和三种 Harness 演化框架共计 21 组在统计上显著的搜索集提升进行 HDA 分析。结果显示，平均有 54% 的提升归因于过拟合，14% 归因于测试时扩展，两者合计在 14 组实验中超过 50%。残差可泛化改进以及在未见任务上的迁移表现随任务、模型和框架差异显著。值得注意的是，搜索集的提升往往难以迁移到未见任务，且在实际分布漂移下的持久性证据有限。验证集信号不足以阻止过拟合，这凸显了在未来 Harness 演化研究中引入归因感知评估的重要性。
点评：HDA 为评估自动化代理优化提供了细粒度视角，提醒研究者关注表面提升背后的真实价值，避免盲目追求搜索集成绩而忽视泛化能力。