大型语言模型（LLM）代理正越来越多地被部署在长时程环境中。早期的失误往往会导致级联错误，使代理陷入死胡同。为了解决这一问题，代理需要能够主动从不良状态中恢复，并把被放弃的探索经验转化为后续决策的指导。
我们提出 ReTRAIL 框架，它允许环境状态向前回溯到更早的时刻，同时保留已取得的有效进度，并将从被抛弃的分支中学到的知识向前迁移。具体而言，环境的状态向后移动，而代理的知识仍然向前累积。
ReTRAIL 通过共享策略进行训练，使用两类互补的奖励信号：
- State‑Anchored GRPO：在重新访问的状态上比较不同的后续路径，以提升执行质量。
- Branch‑Advancement Reward：依据后续探索的进展，对反思过程进行奖励，引导代理利用已放弃分支的洞见。
在四个交互式基准（MineSweeper、Sokoban、ALFWorld、ScienceWorld）上的实验表明，仅加入回溯原语的收益有限，甚至可能降低性能。相比之下，ReTRAIL 能够从低效状态中回溯，并利用被抛弃分支的经验指导后续探索，从而显著提升长时程任务的成功率。
代码已开源： https://github.com/whi497/ReTRAIL
点评