摘要
推测解码通过将草稿生成与目标验证解耦，加速了大语言模型（LLM）的推理。尽管近期的并行生成器能够在单次前向传播中高效地提出长序列，但由于缺乏令牌间的依赖关系，它们的接受率迅速下降。此外，随意验证这些扩展块会在高拒绝风险的令牌上浪费关键的批处理能力，从而严重降低高并发服务系统的吞吐量。
我们引入了DSpark，这是一种将高吞吐量并行生成与自适应负载感知验证统一的推测解码框架。为了维持草稿质量，DSpark利用半自回归架构，将并行主干与轻量级的顺序模块结合，介绍了块内依赖建模并减轻后缀衰减。为了优化系统效率，DSpark采用了自信调度验证，动态调整每个请求的验证长度，基于估计的前缀存活概率和引擎特定的吞吐量配置文件。
在多个领域的离线基准测试中，DSpark显著提高了接受长度，超越了最先进的自回归和并行生成器。当在DeepSeek-V4服务系统中部署以应对实时用户流量时，DSpark成功减少了验证浪费。与已建立的生产基线（MTP-1）相比，DSpark在匹配吞吐量水平下将每用户生成速度提升了60%至85%。更重要的是，通过防止在严格交互约束下吞吐量的严重下降，它使得之前无法实现的性能层次成为可能，推动了我们服务系统的帕累托前沿。
博主点评： DSpark通过引入半自回归架构与自信调度验证，巧妙解决了大语言模型推理中的效率与质量问题，使得高并发服务系统能够在保持吞吐量的同时，实现显著的性能提升。这一进展为推测解码的未来发展提供了新的视角与方向。