摘要
后训练代理用于自动化AI研究，需要优化的不仅是模型参数，还有运行框架，这决定了研究轨迹的生成、评估和学习方式。现有的管道通常在固定的框架下训练模型，包括提示、工具、技能、中间件和内存，同时将数据生成过程排除在优化目标之外。这导致模型更新与决定轨迹质量的静态支架之间存在不匹配。
我们提出了Co-Harness，一个在后训练期间联合优化代理框架和模型参数的框架。Co-Harness在框架优化与模型优化之间交替进行。基于LLM的HarnessCritic分析失败的轨迹，识别框架级的失败模式，并提出经过验证的局部更新。然后，模型在改进后的框架生成的高质量轨迹上进行微调，将有效的支架提炼到模型参数中。
一个超过200小时的自主案例研究进一步表明，Co-Harness能够从系统崩溃中恢复，提升推理效率，并在没有人工干预的情况下发现集成策略。这些结果表明，联合优化框架和模型是改善代理性能的有效方法，超越了固定框架的后训练。
博主点评： Co-Harness展示了在后训练过程中，通过联合优化运行框架和模型参数，可以有效提升LLM代理的性能。这一方法不仅解决了现有模型与静态支架间的矛盾，还通过HarnessCritic机制实现了动态学习。这为未来的AI研究提供了新的思路，值得深入探讨。