摘要
个人代理正逐渐成为持久的用户拥有中介，它们能够记住用户偏好、过滤平台介导的信息、使用工具并与服务进行谈判。现有的基准测试主要评估工具使用、网页导航、桌面控制、个性化、推荐和不断变化的上下文，但很少探讨代理是否能够维护用户主权，即在尊重隐私、同意、证据、用户负担及抵制操控性激励的前提下，推进用户当前的利益。
我们提出了 SovereignPA-Bench，这是一个可执行的基准测试，用于评估用户拥有的个人代理，考虑到不断变化的意图、平台中介、隐私边界、同意约束、证据要求和负担权衡。该基准将代理可见的可观察状态与评估者专有的隐藏标签区分开，报告任务成功、对齐、隐私、同意、证据、操控、负担和可审计性的组件指标，并保持模型与策略比较的配对场景顺序。
我们在4个模型家族和8个政策基准上评估了120个主权压力场景，生成了3840个冻结提示轨迹，包括原始提示、输出、提供者形式的响应、解析的动作、可重计算的指标、硬性分析、定性案例，以及针对240个项目的盲审计。
全主权支架在提高主权评分方面表现优于直接、仅记忆、仅同意、仅证据、ReAct/工具使用、安全提示和评判者保护基准，同时减少隐私泄露、同意违反、过度妥协和操控捕获。人类审计显示在隐私和同意方面高度一致，而在操控方面一致性较低，识别了平台说服判断的主观边界。这些结果表明，个人代理评估必须超越任务完成，朝着具有代表性、关注同意和以证据为基础的行动迈进。
博主点评： 这项研究强调了在个人代理评估中考虑用户主权的重要性，尤其是在隐私和同意方面的挑战。SovereignPA-Bench 的提出为未来的发展提供了新的视角，推动了用户主权的保护与技术进步的平衡。