现有基于大模型的代理在长时程机器学习工程中通常通过上下文工程实现,即使用自定义 harness 管理工具、技能和累计经验。然而,当单会话执行时间延长时,代理的推理强度下降,进展变慢,出现长时程减速;随着底层模型提升,harness 的优势消失,表现为 harness 陈旧。这表明其收益可能随模型迭代而失效,因而我们提出在工作流层面让不同代理在会话间交替构建成果。
我们将交替会话建模为上下文重置半马尔可夫决策过程(CR‑SMDP),给出交替优于单代理的充分条件,推导实验预算上界,并分析会话上限 $k$ 如何保持优势。基于此,提出 Humanize MLE Agents(HMA),在共享工作区上交替运行两名代理,每个会话最多进行 $k$ 次实验,且在会话间重置上下文,无需额外的任务特定 harness 或先验知识。
在 MLE‑bench 的 75 项 Kaggle 任务中,HMA 达到 78.2% 的 any‑medal 率,较最强开源基线提升 8.0 分,仅使用其四分之一的时间预算。六种配置(覆盖五对异构代理)平均比各自基线提升 6.4 分,展示了跨对通用性。补充实验在核函数优化任务中实现 878 次循环,误差仅 1.6% 于社区排行榜冠军,证明方法可推广至非 MLE 场景。
点评