NeFut Logo NeFut
EN 管理员登录

[AI学术] AI代理的用户权限请求:从界面到执行的安全挑战

发布于:2026-07-17 22:00 最后更新:2026-07-18 08:19
#algorithm #AI #Open Source

随着AI代理的普及,用户面临的风险也在增加。提示注入攻击和幻觉现象可能导致代理泄露私人信息给第三方。此外,作为自主系统,代理还可能在用户未授权的情况下执行敏感任务,如银行交易。为应对这一挑战,代理安全社区提出了多种安全代理系统的方案。大多数研究集中于产品层面的方法,代理系统开发者对所有用户应用相同的安全政策和权限。然而,不同用户有不同的需求和偏好,因此需要支持用户级权限政策的代理AI系统。

为了解AI代理系统中如何处理用户级权限,我们调查了21个代理权限系统的提案。通过这项回顾,我们构建了一个分类法,描述不同系统如何在用户界面和内部指定用户级权限政策;如何从用户输入中导出内部政策;以及如何在运行时执行这些政策。随后,我们分析了五个知名商业代理,并将其权限处理与文献中的代理权限系统进行了比较。我们识别出文献和商业代理中的几个高层主题,以及多个未来研究所需的空白领域。

博主点评: 本文深入探讨了AI代理在用户权限管理上的挑战,强调了定制化需求的重要性。随着AI技术的进步,如何平衡用户隐私与代理的自主性,将是未来发展的关键议题。此研究为进一步改进代理安全提供了宝贵的见解。

原文链接: https://arxiv.org/abs/2607.13718

[h] 返回首页