摘要
近年来，大规模图像生成模型的进展使得可以生成具有可控属性的照片级真实场景。除了数据增强外，它们作为训练视觉系统的诊断工具在空中和遥感领域的潜力尚未被探索。我们提出了一种合成诊断框架，用于空中视角的车辆检测，该框架结合了文本引导生成、属性控制编辑和自动属性验证，以构建可控的合成测试环境。
这种方法使得在多种场景类型和环境条件下对预训练检测器进行细粒度评估成为可能，这些条件在真实数据集中难以分离。我们在三种检测架构和三种真实空中数据集上进行了测试，合成场景的性能趋势与现实世界的弱点紧密匹配。通过这些诊断结果，针对识别出的弱类别进行小规模真实数据集的有针对性补充，能够提高多达13%的AP50，同时所需额外样本远少于非针对性增强。
我们的结果表明，受控的合成探测可以预测真实领域的性能差距，并指导高效的数据收集。该诊断框架是模块化的，可以随着能力的演变而整合替代的生成或视觉-语言模型。我们的代码和数据集可在这里获取：AVODDiag
博主点评： 本文提出的诊断框架利用生成模型的优势，为空中视角物体检测提供了一种创新的评估方法。通过合成的方式，研究者能够更高效地识别模型的弱点，并以此为基础进行针对性的优化，展现了生成模型在计算机视觉中的潜力。该框架的模块化设计也为未来的扩展和应用提供了可能性。