离散扩散（包括重新掩码和均匀状态采样器）在每一步写入多个 token 位置。每个位置的 token 从对应的条件分布中抽取，写入哪些位置也由同样的分布决定。对于像像素、音素或词语等通用域，token 之间天然存在依赖关系。
我们证明，只有当本步写入的所有位置在已固定 token 的条件下相互独立时，步骤的分布才能匹配训练分布；任何由单位置分布的乘积都无法匹配存在依赖的 token 组。此外，单位置分布本身并不能决定组是否依赖：可以构造两种联合分布，它们在每个位置上的边缘分布完全相同，却在出现的组合上不同。
在 ScanAndAdd 这一人工合成任务中，联合分布可以写成闭式。实验表明，置信度排序写入的每一组两个或更多未确定位置都是依赖的。测得生成分布的总变差距离约为采样噪声下限的 $29\times$，而每个样本的指标仍保持在 $1.0$ 左右。
点评