Rubric（评分表）评估在大语言模型（LLM）输出质量测评中被广泛采用。它将整体质量拆解为若干标准，每个标准由一个 LLM 验证器给出二元判断（通过/不通过）。然而，不同标准的判断确定性差异显著，某些标准的判断可能非常模糊。现有方法直接对所有二元判断进行等权求和，等同于假设每个标准的判断都同等可靠，忽视了这种不确定性异质性。结果是，含有高不确定性的判断仍被直接用于奖励估计，可能向下游强化学习（RL）提供误导信号。
为了解决上述问题，本文提出 不确定感知评分权重（URW） 框架。URW 通过 共形校准 在标准层面量化判断的不确定性。具体做法是：
- 为每个标准准备一组固定的判决模板，并对这些模板进行同义改写，形成模板池。
- 将 LLM 对该标准的二元判断映射到模板池中的相似度得分，得到一个软的不确定性信号。
- 使用 分裂共形 p 值 将该信号转化为权重 $w_i$，满足 $$\Pr\{\text{真实错误率} \le w_i\} \ge 1-\alpha$$ 的覆盖保证，其中 $\alpha$ 为预设显著性水平。
权重 $w_i$ 随不确定性增大而减小，从而在最终评分中自动降低不可靠标准的影响。URW 完全 无训练，只需一次模板构造和一次共形校准即可部署。
实验在多个公开 LLM 基准上进行。结果显示：
- URW 在成对偏好准确率上提升约 2%~4%。
- 将 URW 加入奖励模型后，RL 对齐任务的最终得分提升约 1.5%。
这些发现表明，显式建模判断不确定性并据此加权，可显著提升基于 Rubric 的评估可靠性和下游对齐效果。
点评