在长时间搜索任务中，强化学习已成为提升大型语言模型（LLM）代理的有前景的范式，代理必须在获得最终结果之前做出一系列中间决策。然而，现有方法仍面临一个关键限制：回滚预算的分配往往未能明确评估中间状态的效用。因此，可能会在低价值状态上消耗大量计算，而不同分支的有效性差异可能很大。
为此，本文提出了基于信息增益的回滚策略优化（IGRPO），该框架将中间状态的信息性视为回滚收集的组织原则。具体而言，IGRPO通过根据节点级信息性分配扩展预算，执行预算感知的树结构回滚，从而使得更有信息的分支更频繁地被扩展，而不太有前景的分支则逐渐被抑制。
我们进一步证明，基于信息增益的回滚引入了一个明确的限制教师分布在轨迹上，自然产生了清晰的策略优化目标，从而在单一框架下统一了自适应树结构探索与原则性策略学习。在七个具有挑战性的搜索增强型问答基准上的实验表明，IGRPO在相同回滚预算约束下始终优于强基线，验证了利用诱导的教师分布指导长期搜索代理的策略优化的有效性。
博主点评： 本文提出的IGRPO通过信息增益优化回滚策略，为LLM的长期决策提供了新的思路，充分利用中间状态的信息性，提升了搜索效率，具有重要的理论和实践价值。