摘要
Agentic 检索增强生成（RAG）通过允许语言模型进行迭代推理、生成搜索查询、检索证据和预测答案，扩展了静态 RAG。然而，模型在决定何时检索、使用词汇匹配还是语义相似性以及如何控制上下文粒度以防止无关标记干扰推理方面仍面临挑战。本文介绍了 GRASP，一个用于训练智能体自适应协调互补检索工具的强化学习（RL）框架，以支持多步骤推理。
GRASP 为智能体提供语义搜索、关键词搜索和段落阅读操作，使其能够在需要时检索句子级证据并扩展进一步的上下文。我们通过奖励机制训练该策略，该机制共同考虑答案准确性、基于证据的阅读、互补检索和轮次效率。实验结果表明，在多跳推理基准上，GRASP 相较于单步检索、基于提示的智能 RAG 和基于 RL 的检索基线，提升了检索召回率和下游问答性能。定性和消融分析表明，所学习的策略发展了可解释的略读和扫描行为：它使用语义搜索进行广泛探索，段落阅读进行局部验证，关键词搜索用于实体特定证据。这些结果表明，学习协调检索信号和上下文粒度对于智能体的正确推理至关重要。
博主点评： GRASP 通过强化学习优化检索策略，显著提升了模型在多步骤推理中的表现，展示了智能体如何有效协调不同检索工具。这一方法为处理复杂的问答任务提供了新的思路，值得进一步研究与应用。