在开放领域多跳问答(QA)中,基于大语言模型(LLM)的搜索代理通过结合检索与推理,为知识密集型的问答提供了前景广阔的方法。现有方法主要通过推理范式、检索交互和搜索策略优化来提升开放领域的多跳问答能力。然而,使用多个搜索轨迹引入了一个具有挑战性的最终答案选择问题。不同的轨迹可能支持不同的候选答案,而检索的信息可能是异构的、冗余的、不完整的或相互矛盾的。直接比较原始轨迹使验证者面临噪声和不对齐内容的困扰,而比较答案字符串则忽略了支持每个候选答案的证据,从而使可靠的最终选择变得困难。为了解决这一挑战,我们提出了STEC,一个用于多跳问答最终答案选择的证据压缩框架。STEC通过两种机制从现有候选集中选择最终答案:(1) 答案级证据压缩,将轨迹按标准化答案身份分组,并将每个答案组转换为候选特定的证据表示;(2) 证据引导的答案验证,比较这些表示并从候选集中选择最终答案。该设计将最终选择的焦点从原始轨迹比较转移到候选级证据比较。我们在四个开放领域多跳问答基准上评估了STEC,并与具有代表性的基线进行了比较。实验结果表明,STEC在所有比较方法中表现最佳,消融结果提供了证据,表明答案级证据压缩对最终答案选择有贡献。
博主点评: STEC框架通过引入证据压缩机制,显著提升了多跳问答的准确性与效率。该方法不仅优化了答案选择过程,还有效应对了信息异构性问题,值得在实际应用中推广。其设计思路为未来的问答系统提供了新的研究方向。