在AI快速发展背景下,传统基于人与当前AI系统难度标定的基准会出现循环或饱和。于是出现了一个核心问题:如何评估可能比现有机器和出题者更强的系统?
一种思路是把评估视为逆问题,即在已知观测和先验的前提下,难度取决于潜在机制的复杂度。Levin 的 $K_t$(可计算的 Kolmogorov 复杂度变体)给出了该难度的理论上界,平衡机制最简表示的长度与运行时间对数的乘积。
早期的 C‑test 基于极简的通用图灵机(UTM),只能表示极少信息且没有先验知识。本文把大型语言模型(LLM)视为拥有庞大人类文化知识的 UTM,提示即自然语言程序。
我们构建了首个基于 $K_t$、以 LLM 为参考机器的 C‑test。通过轻量化的生成与认证流水线,可在比任何人类或前沿模型更高的难度下产生题目,难度以比特为单位的比例尺度衡量。
实验在十二个 LLM 上执行,得到的特征曲线随难度单调下降,直至进入我们能够认证但尚未被前沿智能解答的“超智能窗口”。
点评