摘要
多模态检索增强生成（RAG）依赖于来自不同模态（文本、表格和图像）的证据。当前的主要部署选择是在模型尝试回答之前做出二元决策：要么运行廉价的文本（+表格）管道，要么为每张图像支付昂贵的视觉语言模型（VLM）。
最近的自适应系统通过在检索之前选择模态或保真度来改进这一点，基于问题条件的预测器来判断需要哪种模态。然而，我们发现这是错误的决策点。通过在 MultiModalQA 上进行的 oracle 头部空间分析，我们发现模态与问题的相关性是判断该模态是否真正需要的一个弱预测因子：很多包含图像的黄金支持问题，其实仅凭文本和表格也能回答。因此，基于明显视觉相关性进行的预检索路由会过度升级。
我们提出了 后置选择性模态升级：首先从文本和表格中廉价回答问题，然后对（查询、草拟答案、证据）元组进行验证，定位缺失的模态，只有在必要时才调用 VLM 证据。经过校准的升级价值路由器决定期望的准确性提升是否值得承担视觉成本。在 MultiModalQA 上，我们的路由器能够恢复始终开启的 VLM 管道的准确性，同时减少了视觉调用的次数，并且缩小了与 oracle 升级率的差距。这一结果将针对检索深度和推理跳跃建立的路由信号层次扩展到第三个维度——模态——在单一的成本感知选择升级视角下进行整合。
博主点评： 该研究提出了一种创新的后置选择性模态升级方法，显著提高了多模态生成模型的效率，尤其是在资源有限的情况下。通过减少不必要的视觉调用，该方法在保持高准确率的同时，优化了成本效益，展示了未来多模态系统设计的新方向。