摘要
随着前沿语言模型的进步，政策制定者和模型开发者需要评估模型访问是否实质性地提高了非专家行为者相较于公共工具的能力，以计划高后果的化学、生物、放射性或核（CBRN）滥用。现有的CBRN评估在非专家定义、威胁范围、基准、评分标准和决策规则上各不相同，导致研究结果难以比较。我们引入了阈值超越标准（TEC）框架，将提升研究分解为可独立执行的组件：确定非专家参与者的资格、定义研究的CBRN威胁范围，以及统计估计实质性提升。我们在一项大规模实证研究中实现了TEC框架，该设计确定了两种形式的提升：生成式（模型从零开始协助计划创建）和修订式（模型协助完善现有计划）。这项研究在CBRN领域生成了攻击计划，并通过主题专家评审对生成式和修订式提升进行了评估。应用该框架，我们的实证研究揭示了领域异质性：在这一受控的发布前评估中，模型辅助的计划有时获得了专家等效的指导评分，但确认的实质性提升仅限于放射性领域。这些发现为减轻和部署治理决策提供了信息，而不是对已部署模型行为的描述。我们总结了未来CBRN提升评估的方法论经验教训，强调了预先指定标准、明确基线、分离生成式和修订式估计，以及仔细区分初步筛选信号和确认风险判定的重要性。
博主点评： 本文提出的阈值超越框架为评估前沿语言模型在CBRN领域的应用提供了新的思路。通过明确的结构和实证研究，作者有效地揭示了模型辅助决策的潜力与局限性，尤其在放射性领域的应用上。这为未来相关研究和政策制定提供了重要的参考依据。