潜在扩散模型几乎普遍在 VAE 的潜在空间上使用高斯先验。对于基础生成,这一默认设置并无问题;但在强化学习(RL)微调时,它会引入结构性限制。
标准 VAE 的 KL 项不仅忽视模式结构,还会主动惩罚潜在空间的分离度和紧凑度。当数据呈多模态时,ELBO 的最优解会把不同模式压缩到重叠的潜在区域。RL 微调进一步放大这种重叠:得分网络在模式间的鞍点上分辨率不足,动态到变分的放大率急剧上升,导致崩溃边界 $\beta_c$ 被推得远高于变分尺度。
在真实的丙氨酸二肽 Boltzmann 分布实验中,高斯先验 VAE 在 $\beta_c = 0.224$ 时出现崩溃,而使用模式跟踪的高斯混合先验在 $\beta_c = 0.00316$ 时崩溃,两者相差约 71 倍。我们将这一差距归因于单一几何中介 $d_{\min}/(2\sigma_0)$,并通过受控干预验证:在固定先验下移动几何,或在匹配几何下切换先验(完全中介;先验标签系数 $0.995\times$, 95% CI $[0.79, 1.25]$)。
三源分解表明放大主要来源于学习的策略(ODE 求解器贡献为零,锚点不匹配有限),而覆盖平台是模式分离先验的无条件收益,任何 RL 能力都无法恢复。
解决方案是有条件的:当潜在几何会出现重叠且任务对覆盖敏感时,需要使用非高斯先验。机器检验的理论框架支持 KL 定价结构——高斯先验下的紧凑性税是发散的,而混合先验下是有限的分配费用——并划分了有限资源情形与必须更换先验的情形。
点评