摘要
多模态检索增强生成（mRAG）旨在利用外部知识回答图像-文本查询，但现有系统通常直接从原始多模态输入中检索，面临两个主要挑战：检索目标不明确，因为问题意图必须与正确的视觉参照点相结合；搜索空间结构薄弱，迫使语义上不同的证据在单一全局排序步骤中竞争。我们提出了MM-R2，这是一种多模态代理检索框架，通过明确建模检索内容和搜索位置，在检索之前进行推理。
MM-R2首先从图像-问题对构建意图基础的检索状态，捕捉信息需求、基础参照和检索约束。接下来，它在结构化的知识图谱上进行检索，代理在其中选择相关的检索单元，然后在这些单元内发出有基础的查询。为实现这一能力，我们构建了MM-R2-Traj，这是一个大规模的多步骤检索过程轨迹数据集，并采用了监督微调和GRPO的两阶段后训练策略。
在Infoseek和百科问答数据集上的实验表明，MM-R2在答案准确性上显著超越了强基线，同时也产生了更具可解释性和可验证性的检索轨迹。
博主点评： MM-R2框架通过推理提升了多模态检索的效率，解决了传统方法中的信息不明确和竞争问题，尤其在准确性和可解释性方面取得了显著进展，展示了多模态系统的未来方向。