[AI学术] 环境反馈建模的重要性：重新思考代理回顾自蒸馏中的反馈处理

Reinforcement learning 常用于训练语言代理在交互环境中，但缺少奖励时难以直接使用。近期方法把环境反馈作为特权上下文用于回顾自蒸馏，但仅在教师上条件化反馈不足。我们提出 SELF 框架，同时优化环境反馈建模和回顾自蒸馏。SELF 预测环境对动作的响应，同时从条件化反馈的自教师向策略蒸馏指导。分析表明，两者形成互相强化的机制：反馈建模提升回顾监督和策略学习，蒸馏提升反馈建模能力。实验使用 Qwen3-8B，SELF 在 $$\tau$$‑bench 成功率上比 SDPO、GRPO 提高 6.4% 和 4.1%，在 AppWorld 任务目标完成率上分别提升 10.71% 和 3.57%。结果证明 SELF 更有效利用环境反馈，提升代理能力。

点评