摘要
单流自回归解码大型语言模型受限于内存带宽：每生成一个token需要一次完整的前向传递，后续的传递无法并行化。投机解码重构了这一计算过程：一个小型草稿模型自回归地提出 $K$ 个tokens，目标模型对所有tokens进行一次批处理评分，而拒绝采样规则证明可以保持目标模型的输出分布。
我们提供了一种从零开始的、设备无关的实现（支持CUDA/MPS/CPU），并在一台消费级Apple Silicon笔记本上进行了五种草稿/目标后端配置的实证研究。分布等价性在三个层面上得到了验证，最终在大约9200个真实模型tokens的两样本测试中达成一致（$\chi^2 = 162.5$, dof $= 200$, $p = 0.976$）以及精确的贪婪序列一致性。最佳配置在$K=6$时实现了$1.61\times$的墙钟速度提升，接受率从$K=1$时的69.7%降低到最佳的37.8%。然而，五种配置中有三种减速，原因是草稿模型未能超越小型目标模型的速度，或者量化的Metal后端以串行方式执行“并行”验证，我们对这一现象进行了隔离和量化。这些失败与成功同样具有启发性：投机解码仅在验证真正批量并行且草稿/目标延迟差距存在时才会获得收益。
博主点评： 本文深入探讨了投机解码在消费硬件上的应用，尽管实现了速度提升，但成功与否仍依赖于具体的硬件配置与延迟特性。投机解码的潜力在于其能够在一定条件下大幅提高模型推理效率，但实际应用中需谨慎评估硬件的适应性和性能瓶颈。