在大语言模型（LLM）代理的改进中，通常通过更改提示、模型或手写工作流程来实现，而模型周围的执行框架则被视为固定基础设施。我们认为，这种执行框架本身是一个可学习的控制层。我们将执行框架的操作形式化为有限时域的Harness MDP，其中轻量级控制器选择结构性执行动作，而LLM执行器保持冻结状态。控制器通过仅使用终端任务评分奖励的优势加权回归进行训练，基于离线轨迹。
此外，我们将最终任务质量与后验的Harness成熟度评分分开，后者衡量执行框架是否遵循可靠的执行模式，而不仅仅是最终答案是否正确。这种分离为执行框架学习提供了有限缓冲区的视角：最终质量的提升需要在离线缓冲区中获得高回报支持，而过程行为则可以在与优势加权动作对齐时随时发生变化。
在六个受控领域和两个公共基准适配器中，学习到的控制器始终改善验证行为，并选择性地提高最终任务质量，适配的tau-bench零售、AgentBench DB-Bench以及使用校准结构验证器的编码任务获得了最大的提升。与行为克隆和强制检查的消融实验表明，这些提升并不能仅通过模仿或简单添加检查来解释。这些结果确认了执行框架控制是冻结LLM代理的一个可学习层，同时表明，离线支持限制了更好的过程控制何时能够转化为更好的最终答案。
博主点评： 本文提出了一种创新的方法，将执行框架视为可学习的控制层，挑战了传统的LLM代理架构。通过离线强化学习的方式，能够有效改善模型的执行效率与任务质量，为未来的研究提供了新的视角与可能性。此类方法的实用性和有效性将在多种应用场景中得到检验。