NeFut Logo NeFut
EN 管理员登录

[AI学术] 没有有限规则集能认证所有安全程序:AI 代理门控的不可能性定理

发布于:2026-11-11 22:00 最后更新:2026-11-12 00:51
#algorithm #AI #Math

AI 助手会生成小程序,门卫只能依据代码本身判断该程序是否可以运行。规则固定:禁止执行禁用操作、输出不得泄露秘密、必须最终给出答案。我们探讨是否可以同时拥有一份列出“允许”行为的规则册和一份列出“禁止”行为的规则册,使得每条规则都能由机器在有限时间内检查并提供证据。结果是否定的:可检查的证据只能决定有限记录,而“永不”与“最终”这类属性本质上无法由有限记录决定。

对于禁止类规则,任何违规都可以通过观察捕获,但没有办法在有限检查后永久确认一个程序安全。对于保密性和响应性,两方面都无法得到完整保证。我们精确刻画了哪些关于可见行为的规则能够被证据确认,并证明任何长度为 $n$ 位的可靠规则册必然遗漏约 $n$ 位的合规程序。加入时间上限后,所有属性都可检查,但需要几乎运行到整个时限,实际不可行。

因此门卫不能对每个程序给出判决,而只能提供一个可检查的列表:该列表必包含所有必须允许的程序,且不包含任何必须拒绝的程序。对 220 万随机程序以及自指对手的仿真表明,这一阻碍主要来源于对手的构造,而非普通程序;且在更长测试中唯一未被消除的错误是保密性的活性(liveness)部分。

点评:该工作揭示了在没有时间上限的情况下,任何有限且可检查的规则体系都无法完整区分安全与不安全的 AI 程序,提示我们在设计门控机制时必须接受不确定性或引入强制的运行时限制。

原文链接: https://arxiv.org/abs/2611.13367

[h] 返回首页