块草稿器(如 DFlash)在一次前向传播中一次性草拟一段未来 token,而草稿树(如 DDTree)则根据草稿器每个位置的分布乘积对前缀进行排序并进行验证。树验证下,期望接受的 token 数等于树覆盖的概率质量。我们发现,乘积方式会错误分配这部分质量:当同一续写可以来源于多条未来时,乘积会把它们拼接成 嵌合体(chimeras),即由不同未来的前缀拼凑而成的序列,而目标模型实际上从不产生这些序列,却仍然为它们分配与真实未来相同的预算。除非出现完全相同的概率,否则任何基于乘积排序的树都无法同时容纳两条在 $m$ 个位置上不一致的未来,而不产生至少 $2^{m-1}-1$ 个嵌合体。实验证明,在 64 节点的树中,嵌合体占比高达 27%~33%。
为了解决这一问题,我们提出 多未来草稿 (Multi-Future Drafting, MFD)。MFD 通过在草稿器输入端引入 $K$ 个学习到的模式嵌入(mode embeddings),一次前向传播同时草拟 $K$ 段一致的块。随后使用 混合 DDTree 让验证器在这些块中挑选目标实际走向的未来,做到无损选择,仅额外使用 $K+1$ 个向量来表示潜在变量。公式上,MFD 用潜在变量 $z\in\{1,\dots,K\}$ 替代链式乘积规则,实现了 $$ P(y\mid x) = \sum_{k=1}^{K} P(z=k\mid x)\,P(y\mid x, z=k) $$
在四个 Qwen 系列模型(4B、8B、14B、27B)上进行单批次(batch size=1)测试,MFD 的加速比最高可达 7.8×,比同等训练的单模树快 5%~8%。在 Qwen3-4B 与 Qwen3-8B 上,MFD 甚至比公开的 DARTree 快 9%~16%。
点评:MFD 通过显式建模多条未来并引入潜在变量,有效消除了乘积导致的嵌合体问题,显著提升了树验证推测解码的效率和鲁棒性,展示了在大模型推理加速中的重要潜力。