近年来，大规模语言模型（LLM）的性能因在海量文本上预训练而快速提升，背后遵循着规模律。然而，主流 LLM 采用自回归方式逐 token 从左到右生成文本，这导致推理时 GPU 并行能力未被充分利用，成为计算瓶颈，并且一旦生成的 token 被确定后无法回溯修正错误。
离散扩散模型通过从噪声或掩码序列出发，迭代去噪来并行生成全部 token，克服了上述限制。该过程在每一步对整个序列进行更新，可实现每秒数千 token 的生成速度，为推理时的计算规模提供了新的维度，并天然支持错误纠正和可控生成。
过去两年，离散扩散已在生物序列和自然语言任务中扩展到数十亿参数规模，出现了开源权重和商业化实现。本文综述了离散扩散的核心思想，概述了现代扩散 LLM 的构建要素，包括基础理论、关键算法与架构模块、在生物学和语言学中的应用，以及对未来 LLM 规模律的潜在影响。
$$C \propto N^{\alpha}$$
点评