摘要
Graph-grounded 多模态问答将文本、表格和图像组织在一个结构化的证据图中，但端到端的准确性依赖于哪些多模态资产能够被高效排名以进入下游推理。对于图关联的图像，单向量双编码器相似度可能会忽略细粒度对齐所需的补丁和标记级结构。
我们评估了用 late-interaction MaxSim 风格的多向量评分替换图关联图像节点的视觉候选排名运算符，同时保持离线图构建、文本和表格侧检索、结构化提取和下游推理不变。在 MultimodalQA 上，这一变化与图关联图像候选的检索阶段点估计的改善和下游问答的提升相关，尤其在视觉证据重要性较大的情况下，表现出更大的提升，而在文本主导的问题上则呈现混合趋势。我们将这一模式解读为图关联视觉证据纳入的机制级证据，同时更广泛的验证和更细致的图级诊断仍然是未来的重要工作。
博主点评： 本文提出的 ColGraphRAG 通过优化图像候选的排名策略，显著提升了多模态问答系统的性能。尤其是在视觉信息至关重要的场景下，后期交互的多向量评分方法展现出明显的优势，反映了多模态数据处理的复杂性与潜力。未来的研究应聚焦于更精细的图层级分析，以进一步提升模型的表现。