在长时间交互任务中，大型语言模型（LLM）代理展现出强大的决策能力，但在有效利用失败轨迹方面仍存在不足：完整重试会导致高昂的交互成本，而经验检索往往会稀释关键信号。为了解决这一问题，我们提出了 PivoARL，这是一种针对 LLM 代理的自反馈重试框架，旨在有效利用经验。
PivoARL 通过结构化反思识别关键的错误转折点，并仅在相应的关键状态下进行局部重试，从而重用正确的前缀，减少冗余交互。从信息增益的角度来看，我们进一步展示了关键重试将有用的经验信号集中在错误边界附近，减轻了由于无状态经验利用造成的信号稀释。
基于这一见解，我们设计了一种关键感知的信用分配机制，奖励正确的前缀，同时隔离错误的后缀，并通过隐式反思回报优化反思质量。我们在 4 个代理任务和 7 个基于搜索的 QA 基准上进行了系统评估。结果表明，PivoARL 在所有任务上都显著提高了 Pass@2/3，平均提升约 11.5% 相较于 MetaRL。此外，得益于关键转折点诱导的对比偏好信号，PivoARL 还在超过 80% 的任务中一致提高了 Pass@1。在扫雷环境中，PivoARL 相较于 GiGPO 提高了超过 45% 的表现，并在与完整重试方法相比时，平均减少了约 42% 的交互回合。
代码可在 GitHub 获取。
博主点评： PivoARL 提出的局部重试机制和关键感知信用分配机制为 LLM 代理的决策能力提升提供了创新思路，尤其在处理复杂任务时，显著减少了交互成本，展现了高效的经验利用潜力。其在多个基准上的优异表现，预示着未来在智能代理领域的广泛应用前景。