LLM 作为评审（judge）已成为替代昂贵人工评估的常用手段。单个评审往往存在偏差，因而通常会聚合多个评审的结果。实际使用中，评审池包含可靠性差异巨大的模型，而用于验证这些评审的人类标注集往往只有几百条甚至更少。 在这种情况下，传统的逐项平均会把弱评审的噪声权重与强评审同等对待；而基于混淆矩阵的 Dawid‑Skene 等模型需要从极少的标注项中估计每个评审的错误表，导致估计不稳。
我们提出 AGORA（Aggregation Of Reliability-weighted Assessments），它基于项目反应理论（Item‑Response Theory, IRT）进行聚合。AGORA 为每个被评估的项目（item）引入一个潜在质量尺度 $\theta$，并用两个参数描述每个评审：
- 灵敏度参数 $\alpha$，衡量评审对质量变化的感知能力；
- 有序阈值 $\beta_1,\dots,\beta_K$，对应评审给出的 $K$ 级评分的分界点。
在该模型中，评审的可靠性由所有项目的联合似然共同学习，无需额外的人类标签。具体的似然函数为 $$ P(r_{ij}=k\mid \theta_i,\alphaj,\beta{j}) = \sigma\bigl(\alpha_j(\thetai-\beta{jk})\bigr)-\sigma\bigl(\alpha_j(\thetai-\beta{j,k+1})\bigr), $$ 其中 $r_{ij}$ 为评审 $j$ 对项目 $i$ 的评分，$\sigma$ 为 logistic 函数。
在三个公开基准上实验表明：
- 当评审池规模大且评审质量不均时，AGORA 的表现优于或持平 Dawid‑Skene；
- 随着验证集规模收缩至数百条，AGORA 的优势显著扩大；
- 通过一个无标签的离散度统计量，可在聚合前预测加权可信度是否有益；
- 学得的可信度权重与人工标注的评审有效性高度相关。
点评：AGORA 通过 IRT 将评审的灵敏度和阈值统一建模，实现了在缺乏大量人工标注的情况下可靠地估计评审权重，为 LLM 评审的自动化聚合提供了可解释且稳健的方案。