离散去噪扩散模型（DDMs）近年来成为离散数据建模中的一种引人注目的替代方案，相较于自回归（AR）建模，DDMs 提供了并行生成和迭代全局优化的能力。与连续扩散不同，后者的状态空间是固定的，DDMs 的构建则依赖于离散状态空间的构造：标记化方案、词汇拓扑及特定领域的结构字母表。
本文提出了一个统一的概念框架，通过构建基础的离散状态空间来审视离散扩散模型。在这个框架内，现有的公式，包括转移矩阵、掩蔽/吸收状态以及基于评分/比率的方法，作为一个共同设计空间的不同实例出现。该框架还揭示了在训练目标、推理算法、扩展行为、系统优化和评估协议等方面的共同设计权衡，暗示了未来研究的一些有前景的方向。
博主点评： 离散扩散模型在处理离散数据时展示了其独特的优势，尤其是在生成效率和灵活性方面。未来的研究可进一步探索其在特定领域的应用潜力，推动模型设计的创新。