前沿AI模型正被部署到医疗、国防、金融、治理和政治等高风险领域，这些领域需要专家判断。
我们提出一种通用方法，将专家的人类判断蒸馏为可规模化的自动评估系统。方法包括组建领域专家网络、提取结论及其推理过程、将推理编码为结构化编辑标准，供自动评审持续使用。
该方法基于长期的专家性研究，强调在认知层面和公共信任层面，独立的、专家校准的评估是必要的。
我们在AI新闻报道上进行首次验证。源质量方面，两位独立专家在留出测试集上使用编辑标准得到Krippendorff的 $\alpha$ 为 $0.83$ 和 $0.69$，自动评审相对于专家共识的 $F1$ 为 $0.81$ 和 $0.97$。中立性方面，专家 $\alpha$ 为 $0.72$，自动评审 $F1 = 0.86$。
对比实验表明，专家校准的评审在所有源质量指标上显著优于未校准的前沿模型，说明编码专家推理是提示工程无法替代的关键步骤。
我们将此基准作为更广泛评估基础设施的概念验证，适用于任何判断关键且专家稀缺的领域。
点评