摘要
如何衡量超越人类能力的智能？人类编写的基准测试已经饱和，而在超出人类能力的范围内，评估者可能不知道哪些任务既具有挑战性又可验证。我们认为，这种困难是绝对尺度评估固有的，提出了一种基于相对测量的新范式，在这一范式中，模型生成公共挑战以区分其他系统。聚合这些结果产生的对抗心理测量评级系统可以与被测系统的能力相匹配。
实践协议
我们描述了一些实践协议，以减少私人信息攻击的动机，支持无评审的裁定，并自然地与代理能力扩展。我们在可验证和开放式、不可验证的领域中实例化这一框架，说明如何通过模型生成的评估继续衡量超越人类边界的系统。
博主点评： 本文提出了一种创新的智能测量方法，通过相对测量和模型生成挑战，解决了传统基准测试的局限性。这种方法不仅可以适应不断发展的智能系统，还能有效减少评估过程中的偏见和攻击风险，具有重要的理论和实践意义。