强化学习（RL）后训练能够显著提升大语言模型的推理能力，但其主要开销来自自回归滚动生成，往往占训练时间的 70% 以上。现有的投机解码方法在此场景下表现不佳：基于模型的草稿生成器需要占用稀缺的 GPU 内存，且随着策略演化可能出现对齐偏差；而模型无关的方法未能利用跨训练轮次的重复信息。\ \ 我们观察到，同一提示的最近几次滚动生成能够提供高质量且自更新的草稿来源。基于此，提出了 NgramRL——一种基于每个提示的 n-gram 草稿器，直接从受限的最近滚动历史构建，无需额外模型、草稿器训练或持久的 GPU 状态。目标模型的验证过程仍然保持滚动分布不变。\ \ 为隐藏 CPU 缓存查找和调度开销，进一步引入自适应分支预取器，预测可能的验证结果 $(j, b)$，其中 $j$ 为接受的草稿长度，$b$ 为目标模型输出的续写 token。因果预算分配器将预取资源集中在高概率结果上，未覆盖的情况回退为顺序查找且不影响已提交的 token。\ \ 在两类模型和三种推理及结构化生成任务上的实验表明，NgramRL 在热缓存 regime 下每次目标模型前向可提交 3.60–7.77 个 token，分别比 SuffixDecoding 提高 1.99 倍、比 prompt‑lookup 解码提高 7.0 倍。以 Spider 为例，预取器在候选预算 16 时覆盖了 96.6% 的 Qwen3‑8B 输出，将实际滚动吞吐提升 1.38 倍，接近 1.40 倍的理论上限。\ \ 点评：NgramRL 通过利用滚动历史的 n‑gram 统计，实现了无需额外模型的高效投机解码，并通过自适应预取进一步削减 CPU 开销，在结构化生成任务中展示出显著的加速效果。