Reinforcement Learning from Verifiable Rewards (RLVR) 是大规模推理模型的关键驱动力，但它容易出现 “zero-reward collapse”。这种训练失败表现为任务难度突增导致学习信号消失。我们认为直接丢弃这些失败轨迹是浪费，因为它们蕴含模型认知缺口的诊断信息，可用于恢复。现有方法多采用静态、离线式干预，如预定义提示库，或事后微调，缺乏自适应的前瞻性指导，难以摆脱崩溃。为此我们提出转向在线教学干预的范式，并引入 MENTOR——一个多智能体框架，充当实时导师。MENTOR 在训练过程中实时诊断失败根因，并动态生成针对性的指令性提示，引导学习主体的下一次尝试。作为即插即用模块，MENTOR 可无缝嵌入现有的策略优化流水线（如 GRPO），无需改动底层训练架构。大量数学和代码生成实验表明，MENTOR 能显著缓解 zero‑reward collapse，超越最先进基线。尤其在 Llama‑3.2‑3B‑Instruct 上，相比基模型实现最高 78.3% 的平均相对提升。
点评