已验证的参考解提供了正确的轨迹用于训练推理模型。另一种做法是使用参考解的前缀，引导模型自行生成后续轨迹。关键问题是：应提供多少参考引导？我们通过前缀续写来研究该问题：模型从参考前缀继续生成，如果生成的完整轨迹通过验证则保留，否则回退到参考轨迹。两种方式都能得到正确轨迹，因此我们将它们的分布与理想分布（即模型在成功验证条件下的自身分布）进行比较。对于单次续写，我们推导出 KL 散度的闭式表达式： $$KL = D_{KL}(p_{cont}\|p_{ref}) = -\log P_{ref}(suffix\mid prefix) + \text{bounded term}$$ 该式表明，KL 在一个有界项之外随“生成不同正确轨迹的概率”与“参考惊讶度”（即参考后缀在给定前缀下的负对数概率）的乘积而下降。更长的前缀往往提升前者但降低后者，因而仅凭续写成功率无法决定最佳引导量。基于此分析，我们设计了一个前缀选择器：在所有训练问题上共享，依据续写结果直接学习，无需估计成功概率或额外生成。该自适应参考引导（ARG）在固定的生成预算内构造正确轨迹，并被用于 Group Relative Policy Optimization（GRPO）中的全失效组。实验在 Qwen3-4B 与 Qwen3-8B 上的五个数学推理基准进行，ARG 在所有评估方法中取得最高的整体 pass@12，同时保持竞争性的平均抽样准确率。
点评