树结构投机解码在一次目标模型前向中验证多个草稿续写,但由草稿分数构建的有限树会出现草稿‑目标不匹配的问题。我们从目标流的视角出发,定义了一条规范退出律,并证明$1+\text{target coverage}$能够紧致地上界任意精确路径验证器的期望输出块长度(包括奖励 token)。
所有最优验证器在退出节点的决定和奖励 token 的分配上遵循同一律,这一点已在代表性的“预抽取‑跟随”(predraw‑and‑follow) 与“顺序残差”(sequential residual) 验证器中得到实现。
基于此,我们提出 Tree Exit Verification (TEV),它是一种层并行的精确验证过程,只需一次退出节点决策和一次奖励 token 决策即可完成验证。
退出律同时揭示了缺失的目标概率,为 Exit‑Guided Draft‑Tree Training (ExitTrain) 提供了节点级反馈,使得在推理阶段生成的草稿树能够自适应地提升接受率。
实验在对话、代码生成和数学推理三个任务上进行。结果表明:在固定树结构下,ExitTrain 将平均输出块长度提升约 13%;TEV 将验证阶段的延迟降低约 15%,整体相较于 DDTree 实现约 14% 的端到端加速。
代码实现可在 https://github.com/hsj576/TEV 获取。
点评