摘要
基于组的强化学习（RL）已成为提升大语言模型代理在长期交互任务中的有效范式。为了获得比轨迹级优化更细粒度的策略更新，近期研究转向了基于步骤的组RL，其中将中间步骤分组并在回放批次中进行比较。
然而，步骤级优势估计对分组方式敏感：按广泛状态键分组提高了覆盖率，但可能比较在不同历史下采取的动作，而强制历史一致性则以牺牲组的完整性和缺失的同行比较信号为代价。
本文提出了ProGPO（基于进展与可靠性的组策略优化），一种无学习评论者的上下文一致步骤级学习方法。ProGPO保持精确前缀的动作比较，并通过基于回放的状态潜力派生的转移信用补充稀疏的同行比较。
为了可靠地估计这些潜力，ProGPO结合了语义扩展和跨历史深度的逆方差融合。我们在两个具有挑战性的代理任务ALFWorld和WebShop上评估ProGPO，使用Qwen2.5-1.5B-Instruct。
结果表明，ProGPO在可比的计算开销下优于匹配的代理RL基线，额外的Qwen2.5-3B-Instruct实验进一步测试了该方法的可扩展性。
博主点评： ProGPO方法通过上下文一致的步骤级学习，提升了组策略优化的有效性，克服了传统方法在历史一致性与组完整性之间的权衡。这为大语言模型在复杂任务中的应用提供了新的思路，尤其是在多样化的任务环境中。该方法的可扩展性测试也为未来的研究指明了方向。