规模化训练大语言模型（LLM）智能体通常需要大量可执行环境，环境的构建、维护和运行限制了经验的扩展。离线轨迹提供了复用交互经验的可能，但在不重新访问环境的情况下有效细化当前策略仍然困难：监督微调（SFT）容易出现灾难性遗忘，在线强化学习则需要实时环境交互。为此我们提出步骤优势策略蒸馏（SAPD），利用相对步骤优势从离线轨迹学习。SAPD 将多轮轨迹拆分为单步决策上下文进行 on‑policy 蒸馏，学生模型在生成响应时以记录的历史为条件，并引入相对步骤优势信号以稳定训练。整个过程既不需要新的环境观测，也不需要额外的多轮交互。实验在 ALFWorld、WebShop 和基于搜索的问答任务上进行，结果表明 SAPD 在不同教师配置下均提升性能，相比 SFT 缓解了灾难性遗忘，并且每个训练步比在线 OPD 快至少 $4.7\times$。代码将在近期开源。
点评：SAPD 通过相对优势信号实现了离线蒸馏的稳定性，兼顾效率与防忘，是大模型离线学习的重要突破。