在临床实践中,独立专家之间的一致被视为可靠的证据,多轮共识已成为医学问答系统的核心机制。当系统需要判断是否信任自己的答案时,常用的信号仍是答案之间的一致性。然而,一致性并非正确性的可靠代理。系统可能出现全体错误的情况,即所有抽样都给出相同的错误答案,此时基于一致性的信号无法提供信息。根本原因在于这些信号只观察共识的最终状态,忽略了形成过程。通过证据解决分歧得到的一致,与从一开始就共享同一误解而产生的一致,在最终结果上是相同的。ProbeGuard 是一种认证回避框架,它依据共识形成的过程来决定是否回避。框架追踪一致性轨迹、少数派持续性和检索饱和度。对于全体一致的投票,使用理由语义熵检查投票背后的理由是否一致,并通过主动探针检索反证据,评估共识是否仍然稳固。随后,分层的 Learn‑then‑Test 校准将这些分数转化为分布无关的选择风险上界。我们在三个医学 QA 基准和一个硬前沿参考上,使用已发布的多轮 RAG 子系统,对比六种回避基线进行评估。结果显示,在 MedQA 上,13.4% 的全体一致投票是错误的,且没有任何基于一致性的信号能够标记它们。过程信号将正确与错误共识的区分从随机提升至 0.696 的 AUROC。认证规则在观察到的选择风险为 9.0% 时,能够回答六成的全体一致层问题;当域内校准数据累积后,正确率提升至九成。
点评