摘要
训练多模态搜索代理进行多跳推理面临挑战，主要源于结构上的根本性断裂：现有流程独立构建训练数据、搜索环境和奖励信号，导致合成的结构元数据被丢弃，环境依赖于不可重现的外部引擎，且RL奖励在轨迹级别上仍然稀疏。
我们提出了 SearchEyes，它利用类型化知识图谱作为一个统一所有三个组件的 模拟搜索世界 的基础。我们提出了 感知-知识链 (PKC)，用于在Wikidata5M的视觉-知识交集上采样受限的多跳路径，保留跳级实体元数据，这些元数据同时定义了一个自包含的搜索世界和步骤级奖励锚点。
此外，我们还提出了 跳锚政策优化 (HaPO)，该方法重用这些锚点进行步骤级的信用分配，而无需单独训练过程奖励模型。实验结果表明，在六个多模态知识密集型基准测试中，SearchEyes在开源多模态搜索代理中实现了最先进的性能，SearchEyes-27B在最强的开源基线基础上平均提升了6.2点。
博主点评： SearchEyes通过整合训练数据、环境与奖励信号，成功解决了多模态搜索中的结构性断裂，为多跳推理提供了新的思路。这一创新方法不仅提升了性能，也为未来的研究提供了重要的参考框架。