检索增强生成（RAG）传统上只看最终答案是否正确，但答案可能与参考一致，而产生答案的上下文却包含直接矛盾，这类冲突在仅审查答案或检索相关度时会被忽视。本文提出层次一致性框架（HCF），它是一种事后、模型无关的审计方法，针对 RAG 流程的三个层面进行评估：知识语料库、检索到的上下文以及生成的答案。HCF 将语料库冲突抽象为来源关联的原子事实，从而定位产生冲突的文档，并为每个答案计算一致性得分（ACS），同时给出支持和反驳该答案的上下文陈述。我们在五个领域的受控语料库上构建了 100 组查询‑语料实例进行实验，并邀请人工评审将每个生成答案与提供的真实答案进行对比。实验发现，三个诊断层面可以相互分离：检索相似度最高的语料库往往拥有最低的平均 ACS，而结构受损的语料库在语料层面表现差，却在答案层面表现更好。更关键的是，HCF 能在答案仍然匹配真实答案的情况下发现检索到的矛盾证据。需要注意的是，HCF 并不证明答案的事实真实性，而是让支持和挑战答案的证据可视化并可追溯。
点评