许多 LLM 研究通过比较模型在不同后续提示下的回答来衡量对话压力的影响。例如，一个提示可能中性地要求模型重新考虑，而另一个则坚持一个虚构的电影真实存在。研究者使用自动评分器标记每个回答是否包含未支持的事实陈述，并常用整体准确率或 $F_1$ 分数来验证评分器。
然而，仅凭整体表现可能掩盖提示特定的错误。如果评分器在某一提示下错误率更高，测得的差异可能被放大、缩小，甚至方向相反。审计样本中若多数是难回答的案例，也会导致对整体研究的误判。
我们推导了评分错误如何影响提示比较，并用六个模型、180 个虚构实体问题和六种提示条件进行实验。一次平衡审计包含 288 条回复，整体 $F_1$ 为 $.916$。但在不同提示下，评分器错误标记了 2.6%‑33.3% 的回复，这些提示特定的估计不确定。
第二次审计中，评分器和两位独立的 LLM 评审员在相同的 300 条模型‑问题‑提示组合上进行评估。原本看似 9.3 分的提升（从中性询问到坚持确定性）在两位评审员的评估下降至 2.3 分。主要评审员的置信区间包含零，说明并未显著提升。其他两组提示比较在两位评审员下保持方向一致，但尝试的提示特定校正仍不够确定，无法得出坚实结论。
因此，研究者应当验证计划报告的具体差异，而非仅验证评分器的整体性能：在匹配案例上对两种提示同时审计，并在最终结果中加入评分器和评审员的不确定性。
点评