在上下文分割（ICS）中，模型需要在不更新任何参数的情况下，仅使用少量参考图像及其对应的掩膜，对查询图像中的目标区域进行分割。尽管近期取得了一些进展，之前的ICS研究却大多忽视了一个关键方面：系统的鲁棒性，即模型在不同参考下对同一查询产生稳定分割结果的能力。
在本研究中，我们从鲁棒性的角度重新审视ICS，提出了一种新范式——概念引导的上下文分割（CG-ICS）。CG-ICS通过从参考中提取高层语义概念来进行分割，而不是仅依赖低层视觉匹配。
具体而言，CG-ICS引入了一个概念推理模块，该模块利用多模态大语言模型（MLLM）提出候选概念，并通过树搜索优化的评分函数选择可靠的文本概念，同时提供一个平行的视觉示例路径，通过简单的上下文构建为查询提供空间基础。
文本概念和视觉示例共同激活了一个冻结的SAM3骨干网络的分割能力。在标准ICS基准上的大量实验表明，CG-ICS不仅实现了最先进的准确性，还显著提高了鲁棒性，使ICS系统在不同参考选择下的方差大幅降低，变得更加可靠。代码可在 GitHub 获取。
博主点评： 本文提出的CG-ICS通过引入概念推理模块，解决了传统上下文分割的鲁棒性问题，展示了在复杂场景下的强大应用潜力。这种方法不仅提升了分割精度，还为未来的研究指明了方向，值得深入探索和实现。