随着前沿AI系统越来越多地被用作政治和时事信息的来源，评估其回答的认知质量变得尤为重要。现有评估往往只关注意识形态一致性，使用未经该场景验证的度量，或依赖公众舆论和非专家标注的参考标签，容易导致误导或校准错误。为克服这些局限，本文提出NewsBench，一个以编辑标准为核心、由新闻、政策和情报分析资深从业者制定的专家驱动基准。NewsBench将质量划分为来源质量、事实性和中立性三维度，采用两阶段流程：首先由领域专家制定并校准评估指南；随后将这些指南转化为自动化AI评审器，并通过专家标注的金标准进行验证。基准包含约 $3,000$ 条评估提示，其中约 $500$ 条每月更新以覆盖新出现的时事；约 $2,500$ 条由人类专家标注用于校准和验证；并提供一套AI评审器以实现大规模评估。我们报告了专家间的一致性以及AI评审器与专家在三维度上的一致性，以验证方法的可靠性。最后，使用NewsBench对四种前沿模型进行评测，发现它们在来源、事实性和中立性方面呈现出互不重叠的失效模式。
点评