投机解码（Speculative Decoding, SD）通过在 GPU 上提前生成草稿 token 来提升大语言模型的响应速度。其收益受批量大小、上下文长度等工作负载形状以及生成内容的影响。基于模型的草稿器在任意内容上生成短块；而模型无关的草稿器如 n‑gram 查表在输出重复输入时几乎不耗算力，能够生成长段复制。自适应验证会在整个批次中分配验证预算给最有可能被接受的草稿 token，但只能配合单一的模型基草稿器。模型无关的草稿器缺乏每个 token 的置信度，无法参与预算分配，部署时只能固定一种草稿器或在 GPU 上拆分资源。\n\n我们提出的系统 \sys 在每一步同时运行模型基和模型无关的草稿器，并为每个请求挑选表现更好的生成链，整个过程在 GPU 上完成且保持异步调度。核心思想是为每个已验证的草稿 token 定义一个价格：该 slot 在批次中若用于其他请求可获得的有效吞吐。只要对模型无关草稿器的 token 进行一次在通用文本上的接受率校准，这个价格即可把两种草稿链映射到同一尺度。\n\n在 vLLM 中将 \sys 与 \dspark 以及 n‑gram 草稿器结合实验表明，在代码编辑任务批量大小为 4 时，输出吞吐提升 1.10 到 1.62 倍；在批量大小 128 时提升 1.04 到 1.27 倍；而在聊天任务温度 0 时保持在 0.97 到 1.01 倍左右。一次部署即可同时高效服务这两类工作负载。\n\n点评：\sys 通过统一价格机制成功融合了模型基和模型无关的草稿策略，实现了在同一 GPU 上的自适应调度，显著提升了不同场景下的吞吐与资源利用率。