HarnessFlow 是一个在固定模型和任务环境下,以有限的候选评估预算优化完整可执行 harness 的框架。它把所有候选及其评估历史组织成一棵 refinement tree,使用基于蒙特卡洛树搜索 (MCTS) 的策略在利用与探索之间取得平衡。选中的 harness 交给编码代理,后者利用归档代码、执行反馈以及可复用的 harness 机制库进行细化。
在六个覆盖代理任务、代码生成和网页交互的基准上,HarnessFlow 仅用 15 次细化尝试就实现了最高的平均测试分数。优化后的 harness 平均得分 69.48%,比初始 harness 提升 10.89 个百分点,亦比 Meta‑Harness 高出 3.95 个百分点,同时每任务的平均执行成本低于手工设计的基线。
这些实验表明,结构化的 harness 搜索能够在保持或提升性能的同时降低计算开销,为自动化设计高效 LLM 代理提供了可行路径。
点评:总体来看,HarnessFlow 将搜索算法与代码生成相结合,展示了在受限评估预算下实现显著性能提升的潜力。