摘要
扩散基础的方法在真实图像超分辨率（Real-ISR）中取得了显著的性能，利用大型预训练的稳定扩散（SD）模型作为强大的生成先验。然而，这些方法仍然面临两个主要限制。首先，现有的基于SD的一步和多步Real-ISR方法对所有输入样本采用统一的处理范式，忽视了图像恢复难度的差异。其次，SD模型中变分自编码器（VAE）的激进分辨率降低（例如，8倍下采样）导致细节的不可逆损失，这些细节无法通过后续的扩散过程恢复。
为了解决这些限制，我们提出了一种难度感知动态路由（DDR）策略，克服了刚性的一刀切处理范式。具体而言，我们首先设计了一个难度评估器，预测每个输入图像的恢复成本，从而实现自动分配到适当容量的网络。然后，我们通过调节SD骨干网络中VAE的空间下采样比例，构建了一组具有不同模型容量的Real-ISR网络，从而在处理复杂案例时保留更多的高频信息，同时对简单输入保持效率。大量实验表明，所提出的模型在效率和有效性上优于近期最先进的方法。
博主点评： 该研究通过引入难度感知机制，显著提升了图像超分辨率的处理效率，展示了动态路由在图像处理中的潜力。尤其是在维持细节的同时，优化计算资源的使用，具有重要的实用价值。