摘要
近年来，多模态大型语言模型（MLLMs）从静态感知发展到交互式视觉语言推理，这一过程通常被称为“与图像一起思考”。在这一推理过程中，一个基本操作是放大感兴趣的区域（通常用边界框表示），以获取更细致的视觉细节。本文提出了Segmentation before Answering（SegAnswer）方法，旨在将放大的单位从常用的边界框转变为像素级分割掩码。
通过使用细粒度的掩码来隔离目标区域，SegAnswer 能够从杂乱的环境中提取出更精确的兴趣区域，有效过滤掉冗余的背景和干扰物体。此外，分割后的视觉输入离散补丁与 MLLMs 通过位置嵌入结构化视觉标记的方式更为契合。在实验中，我们在多个基准上评估了 SegAnswer，包括高分辨率感知、一般感知和幻觉等任务，结果表明该方法在各项任务中均实现了持续的性能提升，同时在分割任务上也展现出可观的表现，验证了其可靠的像素定位能力。
博主点评： SegAnswer 方法通过像素级分割为视觉推理提供了更为精细的处理手段，这一创新不仅提高了模型对目标区域的识别精度，也为多模态学习的进一步发展奠定了坚实的基础。随着视觉与语言的结合愈加紧密，未来的研究将更加关注如何优化这些交互过程。