条件扩散模型能够根据文本提示生成高质量图像，但不同随机种子产生的样本往往在视觉上高度相似，限制了创意探索的空间。已有方法虽能提升多样性，却常需额外的优化或采样开销，且过强的扰动会导致图像失真或与提示不匹配。我们提出一种无需额外训练的技术，利用条件嵌入空间到图像空间映射产生的局部拉回几何，寻找输出对输入最敏感的方向。具体做法是计算映射的雅可比矩阵的拉回度量，提取其主特征向量作为“拉回方向”。在采样过程中，将不同的随机轨迹沿这些方向进行微调，使生成结果在保持条件一致性的同时呈现更大的差异性。实验在 MS‑COCO 与 BrushNet 数据集上进行，结果表明该方法能够显著提升提示条件下的图像生成和图像修复任务的多样性，同时保持图像质量和语义一致性。
点评