在传统的 GRPO（Group‑Relative Policy Optimization）框架中，如果一个问题的所有 rollout 都失败，模型既得不到成功示例，也没有非零的组相对优势，导致学习停滞。事实上，失败的推理仍然可以提供下一步的线索。为此我们提出了 Replay‑Selected Hindsight Distillation（RSHD），将失败尝试转化为额外的、可验证的监督信号。
RSHD 的核心流程如下：
- 策略在每次失败后生成一段纠正性说明（note），该说明仅基于自身的推理过程，不依赖参考答案。
- 将该说明作为上下文重新求解同一问题，得到新的 rollout。
- 若新 rollout 的成功率显著高于原始组的成功率，并且说明未直接给出答案，则该说明被 接纳。
- 接纳的 rollout 通过蒸馏（distillation）合并进纯提示策略（plain‑prompt policy），供后续训练使用。
接纳标准基于新成功而非原始失败本身，这使得即使所有尝试均告失败的组也能提供有价值的监督；同样适用于混合成功/失败的组。整个过程仅训练策略本身，唯一的评判者是结果验证器（outcome verifier），部署时不需要额外的说明或推理步骤。
实验在多个模型族、不同规模以及两个训练域上进行。结果显示，RSHD 在域内基准上始终优于原始 GRPO，且提升效果能够迁移至域外评估集。
点评