长时序交互要求智能体在不断变化的环境中做出多步决策。基于结果的 GRPO 只能提供整体奖励信号,缺乏对中间决策的细粒度指导。近期工作通过将完整轨迹蒸馏为可复用技能,并使用后视条件的 OPD 为每个 token 提供密集信用。然而,技能引入的概率偏移并不一定对应奖励对齐的信用;尤其是当一次错误动作导致后续状态改变时,技能条件的监督可能与当前状态不匹配。
为了解决上述不匹配,我们提出 Error‑Truncated Hindsight Distillation(\methodname{}),其核心思想是根据轨迹结果和错误边界路由两类互补的后视技能:正向技能捕获成功的工作流,用于强化成功轨迹及错误前的决策;负向技能捕获失败特有的纠正信号,专注于决定性错误。错误之后的后缀仅由 GRPO 进行优化,保留基于结果的学习,同时避免引入可能不匹配的后视监督。
实验在多个长时序任务上进行,结果显示 \methodname{} 在整体任务成功率和细粒度信用分配方面均优于仅使用 GRPO 或单一后视技能的基线。
点评