RLVR 能提升语言模型的推理能力，但通常依赖独立的随机 rollout 进行探索，这会导致多次采样相似的失败策略。已有工作通过在后续尝试的上下文中加入错误解来引入采样依赖，从而引导探索，但随之产生如何为每次尝试分配信用的问题。我们将信用分配视为经典强化学习中的随机最短路径（Stochastic Shortest Paths）问题，即在达到终止状态（即验证成功的响应）时最小化期望累计成本。 在若干简化假设下，这一视角自然导出对 GRPO 的一次简单改动——重试感知策略优化（ReAPO）。ReAPO 为失败轨迹分配额外的生成步骤，使成功的重试得到强化，而不奖励前置的失败，并以理论上严谨的方式为每次尝试分配信用。实验在 Qwen3 与 OLMo-2 系列模型（0.6B~4B）以及八个数学与科学推理基准上进行。结果显示，ReAPO 在首轮成功率上超越 GRPO 及近期基线算法，且消融实验验证了串行采样和 ReAPO 信用分配的有效性。 在 Qwen3-0.6B 上，ReAPO 以两倍的组大小或两倍的训练步数仍优于 GRPO，仅用 39% 与 31% 的生成 token 即达到其峰值准确率。 综合来看，ReAPO 通过改进探索和重试感知的信用分配，提供了一种简洁而有效的提升语言模型推理性能的方案。
点评：ReAPO 的核心在于将重试视为一次有价值的探索机会，并通过随机最短路径框架实现了理论支撑的信用分配，使得模型在有限计算预算下能够更快收敛到正确答案。