Diffusion 语言模型能够并行生成 token，但仍需多次采样才能得到高质量文本。本文探讨模型是否能在一次前向传播中生成完整序列，提出 Seq-Drifting 框架。Seq-Drifting 对连续的 token 表示序列施加漂移，将高斯噪声直接映射到文本。不同于传统 DLM 在每个位置直接使用观测 token 作为监督，Seq-Drifting 构建漂移场，其位置目标随当前生成上下文自适应。每个位置的吸引力将输出拉向上下文上合理的 token 表示，排斥力防止不同样本之间的塌陷以及序列内部的重复。训练时生成器学习该漂移场，推理时一次前向即可 joint 生成所有 token。实验在 LM1B 上实现单步困惑度 $36.01$，且在无条件和条件生成任务上表现竞争。翻译、摘要、推理等实验进一步验证了框架的通用性。代码已开源于 https://github.com/jyliu-ai/Seq-Drifting。
点评