摘要
大语言模型在推理路径上可能通过不稳定、矛盾或难以一致排名的方式得出相同答案，这种失败模式在多步骤推理中尤为常见。现有方法主要通过输出分散性来评估可靠性，即测量采样答案之间的差异，但这种方法忽略了一个互补信号：模型是否能够一致地对竞争推理候选进行排名。
我们提出了一种结构不确定性的方法，这是一个基于自我偏好诱导排名稳定性的一致性感知框架。给定一个查询，我们生成多个候选解决方案，并要求模型在其自身输出之间进行成对偏好判断。我们通过布拉德利-特里建模结合PageRank将自我偏好聚合成排名分布，并将信号分解为两个基于熵的组件：跨试验排名不稳定性和试验内候选模糊性。
在五个大语言模型和八个基准上，结构信号提供了与答案分散性互补的信息：在逻辑和数学推理任务中，这种组合提高了对不可靠实例的识别，而在事实检索中，结构信号趋向于均匀性，揭示了推理级别一致性评估无信息的领域边界。这两个组件与准确性有不同的关系：试验内模糊性与正确性正相关——与多条合理解决路径仍然有竞争的设置一致；而跨试验不稳定性则负相关，表明推理不可靠。
结构不确定性最好理解为不是一种普遍的置信度估计器，而是一种对逻辑推理一致性敏感的评估器。
博主点评： 该研究提出的结构不确定性框架为大语言模型的逻辑推理一致性评估提供了新思路，强调了自我偏好与排名稳定性的重要性，值得在实际应用中深入探索与验证。通过细致的实验设计，该方法展现了不同推理任务下模型表现的复杂性，提示我们在使用大语言模型时需谨慎评估其推理能力。