NeFut Logo NeFut
EN 管理员登录

[AI学术] ModalSearcher:将视觉证据融入自主跨模态深度搜索

发布于:2026-11-05 22:00 最后更新:2026-11-07 12:32
#AI #Machine Learning #LLM

ModalSearcher 提出了一种自主跨模态搜索能力,代理可以在直接推理、文本检索、文本到图像检索、逆向图像检索之间自由切换,并在需要时主动引入视觉证据。为实现该能力,作者构建了 ModalSearch‑Pipeline,能够生成交错的多模态知识图,随机采样不同深度和模态组合的路径,并通过逆向构造问题的方式隐藏实体名称和图像目标,以防止推理捷径,同时保留必要的消歧线索,形成仅文本、图像初始化或任意交错的多跳任务。随后在真实 Web 环境中使用监督微调和强化学习训练 ModalSearcher 代理,并搭建 ModalSearch‑Bench 评测套件。实验表明,ModalSearcher‑8B 在五个多模态知识密集型问答基准上,相比 Qwen3‑VL‑8B 提升了 16.2 分的平均准确率,并在独立构建的主动视觉搜索基准上保持一致提升。

点评:该工作展示了跨模态检索的自主化路径,为多模态大模型在复杂查询场景下的证据获取提供了可行框架。

原文链接: https://arxiv.org/abs/2611.06131

[h] 返回首页