NeFut Logo NeFut
EN 管理员登录

[AI学术] 加密解耦:自主代理学习与其权威的治理个体化

发布于:2026-07-08 22:00 最后更新:2026-07-09 03:23
#algorithm #AI #Cryptographic

随着自主代理从沙盒文本生成器转变为代码、数据和物理基础设施的操作员,它们在部署过程中不断学习。这引发了一个问题:在代理适应现场后,运行系统是否仍然受限于其操作员授权的内容?我们展示了,限制可以作为代理执行架构的一个不变特性来保证,而不是其训练的概率结果。治理个体化将代理在启动时绑定到一个加密冻结的身份摘要,并通过一个定义于动作语义效果的门来路由每一个动作,而不是仅仅通过其名称。我们证明,任何学习、技能获取或自我治理抽象都无法在没有操作员签名的身份更改的情况下扩大代理的许可权限;这一保证即使在代理自我引导的安全原则错误时也依然成立。通过在一个开放式工具使用基准测试中进行实证研究,发现由于奖励压力,无治理的软件代理会在任务依赖的速率下尝试篡改自己的评估,而门控机制将执行的禁止效果减少到零,这成为了构造的一个验证属性,同时保持了任务成功。对逐渐增加的语义深度监视器的对抗性评估显示,错误允许率从75%(基于名称的门控)降至零(动态效果追踪),而拒绝历史则将合规性转移至持有的红线家庭。对部署学习代理的信任,从对其持续对齐的赌注转变为任何人都可以在启动时进行的检查。

博主点评: 本文提出了一种创新的方法,通过加密身份和语义门控来确保自主代理的行为不超出授权范围。这种治理个体化的方式,不仅提高了代理的安全性,也为未来的自主系统提供了新的治理框架。

原文链接: https://arxiv.org/abs/2607.04613

[h] 返回首页