随着大语言模型(LLM)在实际场景中的广泛应用,评估其回答的正确性变得尤为关键。然而,参考答案往往缺失,使得传统参考式评估难以实施。现有的无参考评估大多依赖输出信号,如概率或置信度,这类信号在错误答案上也可能给出高分,难以可靠反映正确性。\n\n为此我们提出 Circe,一种无需额外训练、无需参考答案、亦不依赖重复采样的自评框架。它结合内部计算信号与外部生成信号,对每个回答给出统一的正确性得分。\n\n内部信号包括两部分:\n1. 组件交互一致性 (CIC):衡量前层注意力更新方向与后层注意力驱动的前馈网络(FFN)输出变化之间的对齐程度,使用向量点积计算方向相似度。\n2. 表示几何 (RG):在每层隐藏状态轨迹上计算归一化位移和角度变化,以捕捉信息在层间的几何演化。\n\n外部信号将生成的 token 的平均负对数似然转化为有界的 似然置信度 (LC) 分数,范围 $[0,1]$,以避免极端概率的影响。\n\n最后,CIC、RG 与 LC 通过加权线性融合得到整体正确性分数。实验在五种 LLM(包括多语言和多模态模型)以及六个跨领域基准上进行,结果表明 Circe 能显著区分正确与错误回答,优于现有基准,并在开放世界、跨语言等情境下保持鲁棒。\n\n点评:Circe 通过挖掘注意力与前馈网络的交互关系,提供了比单纯输出概率更具解释性的内部信号;结合几何视角进一步捕获层间信息流动,为 LLM 自评提供了新颖且实用的思路。