NeFut Logo NeFut
EN 管理员登录

[AI学术] 揭示对话式图像编辑中的隐性保留意图

发布于:2026-07-10 22:00 最后更新:2026-07-13 08:26
#algorithm #Machine Learning #Open Source

在对话式图像编辑中,除了保留可见内容外,还需要保留在交互过程中暂时消失的内容。当新添加或修改的内容遮挡了先前可见的区域时,如果该区域的语义没有发生变化,它应该重新出现。然而,现有的系统往往无法恢复这些被遮挡但未改变的内容,导致结果不一致或产生幻觉。为了解决这个问题,我们引入了 OCCUR-Bench,一个用于对话式图像编辑中时间保留的诊断基准。OCCUR-Bench 提供了多种遮挡与显现的场景以及历史恢复的参考,能够评估真实恢复而非合理再生。

我们还提出了 ReSpec,一个无训练的框架,通过将恢复感知的指令与历史视觉参考配对,使隐性保留变得显性。给定编辑历史,ReSpec 识别应该保留的内容,选择提供缺失视觉证据的历史图像状态,并在上下文编辑器上对生成的指令和参考图像进行条件化。实验表明,ReSpec 在 OCCUR-Bench 上提高了恢复的保真度和时间一致性,强调了将保留基础于编辑历史而不仅仅是当前图像的重要性。

博主点评: 该研究为对话式图像编辑提供了重要的技术基础,强调了历史上下文在内容恢复中的重要性。通过引入新的基准和框架,研究者们为提升图像编辑工具的准确性和一致性提供了有力支持,未来的应用前景值得期待。

原文链接: https://arxiv.org/abs/2607.07051

[h] 返回首页