合成图像归属旨在识别生成特定AI图像的生成器。训练无关的基于参考的归属方法易于扩展，因为新出现的生成器可以通过添加特定来源的参考而不是重新训练任务特定的分类器来纳入。这类方法的性能依赖于两个相互耦合的因素：用于比较的表示空间和构建源特定参考的方法。然而，这两个因素之间的相互作用仍然在很大程度上未被探索。本文提供了对这种相互作用的控制分析，使用预训练的参考和现成的表示。我们研究了从CLIP和DINOv2的不同层提取的表示，以及三种具有不同语义约束的参考选择方法：任意、语义对齐和基于重合成的参考。我们的结果表明，归属准确性在中间表示水平上始终达到峰值，这表明源区分线索在强语义抽象主导之前更易获取。我们进一步表明，中间表示并不完全语义中立，使得参考选择至关重要：具有语义约束的参考减少了查询-参考不匹配，提高了归属准确性，尤其是在参考预算有限的情况下。在低参考情况下，重合成最有用，而语义对齐的参考在可用中等大小参考池时提供了更好的准确性-成本权衡。我们的发现表明，训练无关的基于参考的归属应理解为图像比较位置、参考集构建方式和可用参考数量之间的相互作用。
博主点评： 本文深入探讨了合成图像归属中的表示与参考选择的关系，强调了中间表示的重要性以及参考选择的策略对归属准确性的影响，为未来相关研究提供了重要的理论基础。