NeFut Logo NeFut
EN 管理员登录

[AI学术] 从结构化反馈到提示策略:学习可信的文本到图像提示编辑器

发布于:2026-10-28 22:00 最后更新:2026-10-29 00:58
#AI #Machine Learning #optimization

Prompt 优化的目标是提升用户得到的图像质量,同时保持用户请求的场景不变。传统的风格重写往往会削弱对象属性和关系,即使全局文本‑图像相似度仍然很高。为了解决这一问题,本文提出 StruPO——一种结构感知的提示编辑器。StruPO 以校准后的场景图作为共享表示,用于策略条件化和基于图像的监督。场景图明确指出哪些信息必须保留,而删除、重排、插入等操作提供了与 token 对齐的编辑方式。这样,外部批评给出的结构化反馈即可转化为可复用的编辑策略的训练信号。

在学习过程中,需要同时处理不确定的 grounding 和随机的图像生成。StruPO 通过平滑的奖励塑形保留 grounding 置信度,并在每次编辑后对多张生成图像求平均,再计算相对优势,以降低噪声。实验覆盖三套各 2K 提示的独立测试集和四种冻结的生成骨干,比较对象包括学习型提示优化器、迭代结构反馈、扩散模型微调以及推理时注意力控制。结果显示,StruPO 在忠实度‑美学的权衡上取得提升,尤其在关系保真度上有一致性增益。自动评估器和 15 人标注的用户研究提供了互补证据,且随着关系复杂度提升,人类偏好优势进一步扩大。消融实验表明,图谱条件化、局部编辑和图像监督是性能提升的关键因素。最终,经过一次图谱校准后,策略即可一次性生成可复用的优化提示,无需迭代的批评‑重写循环。

点评

原文链接: https://arxiv.org/abs/2610.36146

[h] 返回首页