Harness 是围绕语言模型代理的代码，负责组织提示、调用工具、管理上下文并控制执行。随着模型能力提升，研究开始让代理自行改进其 Harness，这类工作被称为自我进化 Harness。现有方法通常使用一个在人为设计的 Harness 上运行的提议者来修改求解器的 Harness，并为每个基准单独进化一个 Harness。真实任务来自多个领域，因而 Harness 的进化与评估也应覆盖多样任务。我们提出一种接近递归自我改进的框架：同一冻结模型在同一版本的 Harness 上先作为求解器完成任务，再作为提议者读取完整运行记录并直接编辑该 Harness。每批进化从五个不同领域的基准中抽取任务。为衡量泛化能力，训练任务与保留任务严格分离，并在五个从未用于进化的分布外基准上额外评估。我们将进化过程视为深度学习训练，包含多任务预训练和持续训练两个阶段。起始的 49 行种子 Harness 在第一阶段结束后，使分布内基准的平均得分提升 4.48 分，分布外提升 12.64 分，前者超越 Codex，后者与其持平。第二阶段在分布外基准 Claw‑Eval 上继续进化，将该基准得分从 66.17 提升至 68.06，超过 Codex。进一步分析显示，进化过程中出现了输出截断、历史压缩和独立审查等机制。
点评