大型语言模型（LLMs）在推理过程中可能会出现错误和不可靠的情况，而像自一致性（SC）这样的解码策略无法有效检测这些问题，因为它们仅评估最终答案的一致性，而忽略了中间步骤的逻辑有效性。这引发了三个基本问题：我们如何可靠地量化LLM推理中的不确定性？语义、结构和因果意识能否选择比简单多数投票更可靠的推理？在对抗条件下，推理拓扑的鲁棒性如何？为了解决这些问题，我们提出了GRAPHEVAL，一个基于图形的推理框架，将不确定性量化（UQ）重新定义为一个整体推理保真度问题。
我们提出了一种新的UQ指标——图推理一致性评分（GRCS），它量化了推理空间的语义-结构共识，并捕捉病态模式崩溃和自信幻觉。研究发现，GRCS是唯一一个在更强大和较小模型中与推理信度一致性呈负相关的指标。此外，我们还引入了图自一致性（GSC），这是一种基于中位数的解码策略，它在名义准确性与推理保真度之间进行权衡，揭示了SC在较小模型中因不可靠的幸运猜测而膨胀的程度，同时在更强大的模型中保持或提高准确性。最后，通过对抗性中位数消融实验，我们证明了GSC选择的路径充当了“承重路径”，强迫模型偏离该路径会降低推理信度，并在某些情况下导致准确性下降。
博主点评： 本文提出了一种创新的图形框架来量化大型语言模型的推理不确定性和鲁棒性，强调了推理过程中的结构和语义一致性。这种方法不仅提升了对LLM推理的理解，也为未来的研究提供了新的方向。GRCS指标的引入对模型的信度评估具有重要意义，值得深入探讨。