连续状态的流模型和扩散模型为快速并行的语言生成提供了新思路，但要达到自回归模型的生成质量仍然困难。我们提出 Rectified Language Flow (ReLF)，它通过校正流把噪声传输到词嵌入上实现文本生成。ReLF 采用多项互补设计：使用 Hellinger‑SVD 构造的固定词嵌入、通过交叉熵训练的自条件引导、以及用于少步生成的正则化再流。
我们进一步引入 singular logits，其由两部分组成：一个解析计算的项在噪声趋近于零时强制模型收敛到合法的词嵌入；一个有界的神经残差学习上下文相关的词偏好。
在 OpenWebText 上进行 64 次函数评估的实验表明，ReLF 在匹配多样性的前提下，生成困惑度低于所有规模的自回归基线，并且在同等设置下优于此前的连续流方法。经过两轮再流后，ReLF 只需 16 次函数评估即可仍然超越自回归基线，且在 batch size 为 1 时生成 1,024‑token 序列的速度提升 15‑19 倍。
点评