图像扩散模型在生成质量上表现突出,但其控制难度远高于传统的基于物理的渲染管线。我们发现光传输现象与这些模型产生的潜在空间分布之间存在内在联系。为此,我们在生成模型的变分自编码器(VAE)学习到的特征空间中引入基于物理的渲染,使光传输模拟能够直接在潜在空间进行。
我们对渲染方程进行了改写:$$\tilde{L}_o = \int_{\Omega} f_r\,\Phi(L_i)\,\cos\theta\,d\omega$$其中 $\Phi$ 为将光照信息映射到潜在特征的函数。结合可微渲染器,求解得到一组最优场景参数,这些参数只需极少的后处理即可在预训练的潜在空间中生成逼真的图像。
训练阶段仅使用一张渲染图像,随后在几何形状、光照条件和相机视角变化下均表现出良好的泛化能力。
点评