摘要
最近的生成模型能够产生高质量的合成图像，为数据密集型模型提供可扩展的训练数据。现有方法通常涉及 1) 训练或微调生成器，或 2) 使用轻量级的后处理适应，如提示工程或推理时指导，这使得方法依赖于特定生成器并且需要专业知识。
我们研究一个互补问题：在给定固定的生成图像池的情况下，是否可以通过选择信息丰富的子集来提高下游效用？答案是肯定的。我们表明，有效的选择必须克服现代生成器的结构偏差：它们往往过度生成每个类别的典型模式，而不足以代表同类间的变化。
基于这一洞察，我们将每个真实类别分为典型的同质（HO）子集和非冗余的异质（HE）子集，然后根据保真度-多样性标准对合成图像进行评分，该标准奖励语义对齐，同时惩罚典型冗余。这种方法不依赖于生成器，且不需要重新训练。
在多个基准测试中，这种方法持续超越了最先进的数据选择基线，并且在合成样本减少多达 40% 的情况下，匹配了真实数据的性能。该标准在更强的任务调优生成器上应用时同样有效，在分类和分割任务上都取得了提升。因此，后生成选择并不是更好生成器的替代品，而是提高合成数据效用的补充机制。
博主点评： 本文提出了一种创新的后生成图像筛选方法，通过同质与异质的分割，显著提升了合成数据的利用效率。这种方法不仅避免了对生成器的依赖，还为合成数据的应用开辟了新思路，具有广泛的实际应用潜力。其在多种基准测试中的优越表现，显示了选择策略的重要性，值得在未来的研究中进一步探索。