NeFut Logo NeFut
EN 管理员登录

[AI学术] AI治理应聚焦控制与知识边界,而非单纯限制智能

发布于:2026-11-11 22:00 最后更新:2026-11-12 00:51
#AI #Machine Learning #Artificial Intelligence

快速增殖的自主AI代理使得对具备代理性的系统进行治理变得迫在眉睫。我们提出能力回路(competence circuit),记作 $IKC + KC + C$,将代理在现实中的影响分解为三条路径:

以经典的快速起飞(fast‑takeoff)争论为压力测试,我们形式化了智能介导的快速起飞的充分条件:当 快速灾难性至高(fast catastrophic supremacy)出现时,必须同时满足以下三个子条件:

  1. 智能水平足以在假设空间中高效筛选(即认知智能 $E_{hyp}=\frac{\text{有效假设}}{\text{总假设}}$)
  2. 知识获取速度足够快($K_{rate}$)
  3. 对关键能力的直接控制能够在短时间内实现($C_{latency}$)

大多数情形并非仅靠智能本身,而是依赖于 快速知识获取 或 控制取得。我们将认知智能定义为假设选择效率,并在 NK 适应度景观上通过随机仿真验证了该框架,覆盖六种情景对应上述三条路径的不同组合。

仿真结果支持一个解析界限: $$ S{intelligence}\le \frac{I{max}}{I_{competitor}} $$ 其中 $S_{intelligence}$ 为智能驱动的加速倍率,$I_{max}$ 为最高智能水平,$I_{competitor}$ 为竞争智能水平。该界限不随任务难度变化。

快速起飞困境:当假设空间噪声较大时,乘数 $S_{intelligence}$ 可显著放大,但实际完成关键能力测试所需的绝对时间仍受 $T_{test}$ 限制,因而大乘数并不必然意味着快速进展。

机构瓶颈(institutional chokepoints)在授权延迟 $\tau_{auth}$ 相对于代理在无效搜索上花费的时间可忽略不计时,会显著减缓超智能代理的推进速度。我们因此主张,限制控制手段并设定知识边界 是比单纯限制智能更有效的安全杠杆,这一点在任何能力层级的代理系统中均适用。纯数字化环境削弱了这些瓶颈,进一步支持在系统设计中“将物理引入回路”("put physics in the loop")的架构思路。

点评:本文通过理论与仿真双重手段,指出在AI安全治理中应把焦点从“智能大小”转向“控制与知识流动”,为政策制定提供了可操作的方向。

原文链接: https://arxiv.org/abs/2611.12941

[h] 返回首页