NeFut Logo NeFut
EN 管理员登录

[AI学术] HarnessFlow:基于MCTS的LLM代理Harness优化

发布于:2026-11-05 22:00 最后更新:2026-11-07 12:32
#AI #optimization #LLM

HarnessFlow 是一个在固定模型和任务环境下,以有限的候选评估预算优化完整可执行 harness 的框架。它把所有候选及其评估历史组织成一棵 refinement tree,使用基于蒙特卡洛树搜索 (MCTS) 的策略在利用与探索之间取得平衡。选中的 harness 交给编码代理,后者利用归档代码、执行反馈以及可复用的 harness 机制库进行细化。

在六个覆盖代理任务、代码生成和网页交互的基准上,HarnessFlow 仅用 15 次细化尝试就实现了最高的平均测试分数。优化后的 harness 平均得分 69.48%,比初始 harness 提升 10.89 个百分点,亦比 Meta‑Harness 高出 3.95 个百分点,同时每任务的平均执行成本低于手工设计的基线。

这些实验表明,结构化的 harness 搜索能够在保持或提升性能的同时降低计算开销,为自动化设计高效 LLM 代理提供了可行路径。

点评:总体来看,HarnessFlow 将搜索算法与代码生成相结合,展示了在受限评估预算下实现显著性能提升的潜力。

原文链接: https://arxiv.org/abs/2611.06254

[h] 返回首页