摘要
在扩散大规模语言模型 (dLLMs) 的高效解码中，平行解码至关重要。然而，当前策略往往受到过于保守的置信阈值的限制。这些阈值是由于联合概率依赖错误 (JPDE) 而产生的，导致冗余的去噪迭代和低效的推理速度。
为了解决这个问题，我们提出了 DC-Leap，一个无训练的框架，能够在中等置信度下可靠地加速 dLLMs。DC-Leap 引入了一种动态连续验证策略，该策略将严格有序的因果约束集成到平行解码过程中。通过逐步验证令牌依赖关系，该机制有效地中和了 JPDE，从而实现可靠的加速，同时保持相当的性能。
此外，DC-Leap 还结合了草稿引导解码机制，草稿通过跨多个令牌跳跃来扩展上下文，提供前瞻性上下文，并在推理过程中保留双向注意力的结构优势。
在标准基准上的广泛实验表明，DC-Leap 实现了显著的加速，长序列生成时速度提升高达 53.19 倍，结合 KV-Cache 时甚至可达 105.02 倍，同时生成质量保持相当。代码可在 GitHub 获取。
博主点评： DC-Leap 的提出有效解决了 dLLMs 中的 JPDE 问题，显著提升了模型推理速度而不牺牲性能，展现了无训练加速的潜力，值得在实际应用中进一步探索。其草稿引导机制的设计巧妙，能够充分利用上下文信息，推动了语言模型的解码效率提升。