快速增殖的自主AI代理使得对具备代理性的系统进行治理变得迫在眉睫。我们提出能力回路(competence circuit),记作 $IKC + KC + C$,将代理在现实中的影响分解为三条路径:
- 智能介导的发现(Intelligence‑mediated discovery,IKC)
- 程序化知识(Procedural know‑how,KC)
- 直接控制(Control,C)
以经典的快速起飞(fast‑takeoff)争论为压力测试,我们形式化了智能介导的快速起飞的充分条件:当 快速灾难性至高(fast catastrophic supremacy)出现时,必须同时满足以下三个子条件:
- 智能水平足以在假设空间中高效筛选(即认知智能 $E_{hyp}=\frac{\text{有效假设}}{\text{总假设}}$)
- 知识获取速度足够快($K_{rate}$)
- 对关键能力的直接控制能够在短时间内实现($C_{latency}$)
大多数情形并非仅靠智能本身,而是依赖于 快速知识获取 或 控制取得。我们将认知智能定义为假设选择效率,并在 NK 适应度景观上通过随机仿真验证了该框架,覆盖六种情景对应上述三条路径的不同组合。
仿真结果支持一个解析界限: $$ S{intelligence}\le \frac{I{max}}{I_{competitor}} $$ 其中 $S_{intelligence}$ 为智能驱动的加速倍率,$I_{max}$ 为最高智能水平,$I_{competitor}$ 为竞争智能水平。该界限不随任务难度变化。
快速起飞困境:当假设空间噪声较大时,乘数 $S_{intelligence}$ 可显著放大,但实际完成关键能力测试所需的绝对时间仍受 $T_{test}$ 限制,因而大乘数并不必然意味着快速进展。
机构瓶颈(institutional chokepoints)在授权延迟 $\tau_{auth}$ 相对于代理在无效搜索上花费的时间可忽略不计时,会显著减缓超智能代理的推进速度。我们因此主张,限制控制手段并设定知识边界 是比单纯限制智能更有效的安全杠杆,这一点在任何能力层级的代理系统中均适用。纯数字化环境削弱了这些瓶颈,进一步支持在系统设计中“将物理引入回路”("put physics in the loop")的架构思路。
点评:本文通过理论与仿真双重手段,指出在AI安全治理中应把焦点从“智能大小”转向“控制与知识流动”,为政策制定提供了可操作的方向。