CORA-Diff是一种新的、无需训练的方法,用于优化扩散语言模型(DLMs)的推理过程。传统的解码器通常使用固定去噪视野,然而很多预测结果在早期就已经稳定下来,但解码器仍需要继续运行直到所有位置都被解析,这导致了重复的密集向前传递。现有的加速器通常依赖于学习到的过滤器、修改后的评分、依赖模型或缓存特定的机制。 CORA-Diff通过利用原生的轨迹信号来识别残差位置,判定哪些位置可能与确定性的密集端点相匹配。这种方法只对未被规则解决的位置应用置信度和持久性门控,而接受的标记仍然可见作为上下文,并且块终止于所有位置被解析。这种方法不需要更改骨干网络、学习接受模型或对数修改。 我们的理论解释了为什么高置信度、持久性的预测更有可能与固定视野的密集端点相匹配,并且成对的干预轨迹提供了直接的实证支持。我们选择一个操作点在单独的GSM8K校准子集上,并将其冻结用于所有评估。在匹配的Learn2PD风格LLaDA协议下,CORA-Diff在所有八个任务长度设置中具有最低的测量运行时间。在五个设置中,任务评分与密集解码相匹配或超过,最大观察到的下降为1.22分。其增量加速超过EOS感知密集解码分别为2.70x和3.32x在GSM8K和HumanEval上。它还在固定视野1024/1024机制隔离协议下达到13.14x,并转移到Dream而不需要重新调整在3.18x-3.53x。 博主点评: CORA-Diff算法通过利用原生的轨迹信号和置信度门控减少了重复的去噪计算,同时保持了任务质量,这是一个非常有意义的研究成果,对于改进扩散语言模型的推理效率具有重要的参考价值。