在实例分割领域，大规模词汇的实例分割受到长尾类别分布和细粒度类别间歧义的限制。数据合成作为一种有前景的替代方案，其当前范式存在互补的局限性：文本到图像（T2I）方法继承了噪声伪标签，并在稀有类别上表现不佳，而复制粘贴方法则妥协了上下文的真实性。
为了解决这些问题，我们提出了一种混合管道，将T2I生成与上下文感知的图像到图像（I2I）编辑相结合。T2I分支提供了广泛的类别和场景多样性，而教师-学生方案通过选择性保留仅由提示指定的类别来确保标签的可靠性。
为了增强对稀有类别的监督，我们引入了VRAIN（通过指导编辑验证稀有类增强），这是一种新颖的I2I编辑器。VRAIN在自然场景中以语义适当的位置插入高置信度实例，从而产生语义一致且视觉自然的编辑，减少领域间的差距并实现有针对性的增强。
在LVIS基准测试中，我们的方法超越了现有的基准，整体AP提高了最多4.0分，稀有类AP提高了最多9.5分，同时在骨干网络容量扩展方面表现出色。我们的项目页面可在 TMI项目页面 查看。
博主点评： 本文通过创新性地结合T2I与I2I方法，解决了实例分割中的长尾类别和数据合成的挑战，展现了深度学习在图像处理领域的巨大潜力。VRAIN的提出显著提高了稀有类别的表现，值得在实际应用中进一步探索。