低比特量化能够显著降低LLM代理的推理成本，但往往会削弱任务成功率。对失败的 rollout 进行剖析后发现，量化后的模型常常忽视任务需求或环境约束，导致产生的环境转移与全精度参考轨迹出现偏离。传统的离线数据难以覆盖学生的失败情境，而学生自身的 rollout 又往往在这些情境中缺少正确答案，导致纠正行为异常困难。\n\n为了解决这一瓶颈，我们提出 SteerDistill——一种量化感知的蒸馏方法。全精度教师在学生产生错误响应时进行干预，引导学生修正失败的步骤，并根据学生执行的反馈循环地更新指导策略。该闭环教师引导能够在局部产生经验证的行为校正。随后，我们在没有教师引导的情况下训练学生，使其在被校正的回合匹配经引导的学生预测，在其他回合匹配全精度教师的输出，从而实现独立推理。\n\n实验在五个代理基准和三种模型上进行。使用 W4A16 量化配置时，SteerDistill 在平均得分上比最强量化基线提升 1.67–2.18 分，并且与 BF16 基准的差距控制在 1 分以内。在 $\tau^2$‑Bench 上，SteerDistill 的成功率比 QeRL 高出 1.84%，训练 GPU 时间减少 67%，且生成的成功轨迹更短。\n\n点评：SteerDistill 通过闭环教师引导实现了量化模型的行为校正，兼顾了推理效率和任务成功率，为低比特 LLM 代理的实用化提供了可行路径。