搜索增强推理系统能够在得到正确答案的同时,在中间步骤出现错误。可靠的审计需要检查三点:证据 $D$ 是否覆盖问题 $Q$,推理过程 $T$ 是否针对 $Q$,以及 $T$ 是否以 $D$ 为依据。为此我们提出 GraphRail,它将需求、证据和推理统一表示为结构化声明,并在不依赖生成式评判器或金标准答案的前提下进行对比。实验在三个多跳问答基准和三种推理框架上进行,结果表明 GraphRail 在错误召回率上优于生成式验证器,并且在随机抽取证据时表现稳定。更重要的是,GraphRail 的诊断信息可以实时反馈给推理过程,实现可追溯的错误检测与纠正。
点评:GraphRail 通过结构化声明实现了对中间推理步骤的细粒度审计,既提升了错误发现率,又保持了对噪声的鲁棒性,为可解释的搜索驱动推理提供了实用路径。