强化学习（RL）已成为提升大语言模型（LLM）代理能力的核心手段，使其在交互环境中具备更强的推理、规划和工具使用能力。但现有的代理 RL 方法普遍受限于在策略内的探索瓶颈：当任务超出模型当前能力边界时，有效轨迹极其稀缺，训练容易崩溃。\ \ 我们提出 Rollout-Time Intervention (RTI)，通过在 rollout 过程中利用奖励侧证据（即评估标准）将错误轨迹转化为成功轨迹，从而为模型提供学习信号，即使策略本身几乎无法自行解决该任务。\ \ 虽然干预轨迹本质上是离策略的，但通过过滤掉分布偏移过大的轨迹，仍能有效指导策略优化。\ \ 在五个基准上进行的大规模实验表明，RTI 始终优于传统 RL 基线，使后训练的策略性能接近更强大的当代 LLM，并且能够突破原有的能力边界。代码已开源：https://github.com/Alibaba-NLP/qqr。\ \ 点评