大量研究通过输出方差来衡量模型连贯性，却未充分考虑其他可能的原因。我们指出两类主要干扰因素：歧义（ambiguity）和漠视（indifference），并构建了 175 条问题集合，这些问题的矛盾答案难以用上述两者解释。随后，我们在同一问题上多次抽样模型答案，统计出现的自相矛盾次数，将其作为不连贯性的度量。与已有方法不同的是，我们的指标具有高特异性，仅在矛盾明显时才标记模型为不连贯。实验表明，经过窄域微调的模型在该指标上表现不佳。进一步检查被标记的不一致案例，发现文献中的模型常出现身份混淆、内省失效以及事后合理化等严重问题。这些现象暗示，窄微调可能引入的病理会限制模型在研究连贯且潜在不对齐行为时的可靠性。
点评