摘要
推测解码通过使用一个更快的辅助模型来加速从自回归大语言模型（LLM）中采样，该模型草拟令牌，然后由 LLM 进行并行验证。标准的推测解码是无损的：其拒绝和重新采样步骤完全保留 LLM 的采样分布。最近的研究表明，放松这一严格保证可以实现更快速度、控制能力与速度之间的权衡，甚至可能获得能力提升。
我们对无训练的放松推测解码技术进行了实用研究，将现有方法统一在一个共享框架内，基于当代设置进行基准测试，并为从业者提炼经验和发现。重要的发现包括：放松可能需要相当大的能力评估，与无损推测解码不同，许多放松的方法依赖于一个优秀的语言模型作为草拟者，这使得它们不适合轻量级的多令牌预测草拟者。
博主点评： 本文对推测解码技术进行了深入探讨，尤其是在放松策略的实用性和能力评估方面。对于希望提升大语言模型采样效率的研究者和工程师来说，提供了宝贵的见解和实践指导。值得注意的是，选择合适的草拟者对于放松方法的成功至关重要。