在多模态文档检索中，目标是检索出相关页面，同时保留原始文档中的文本和视觉内容。然而，现有基准主要评估简单的词汇或语义匹配，大多数方法独立编码页面，因此忽视了文档中的上下文信息，这对于解决需要跨多个页面聚合信息的查询至关重要。
为了解决这一挑战，我们提出了 CMDR 和 CMDR-Bench，这是一个新的多模态文档检索任务和基准，要求对文档上下文进行建模。为此，我们提出了 CMDR-Embed，这是一个上下文多模态嵌入框架，明确通过联合编码多个页面并从共享上下文表示中推导页面级嵌入来整合文档上下文。此外，我们还引入了 CMCL，这是一种上下文多模态对比学习目标，能够有效训练 CMDR-Embed，通过平衡上下文建模与页面级可区分性。
实验结果表明，CMDR-Embed 显著优于非上下文嵌入，突显了上下文感知的多模态嵌入在推动文档检索中的重要性。
博主点评： CMDR 的提出为多模态文档检索领域带来了新的思路，尤其是上下文的利用，使得信息检索的准确性大幅提升。这一框架的有效性为未来的研究和应用提供了强有力的支持，值得关注和深入探索。