在未来,个人代理将越来越多地代表用户进行谈判,例如与其他代理分摊费用、申诉平台决策、升级支持争议、请求退款、变更订阅和谈判截止日期或报销等。现有的谈判基准主要强调协议、盈余或战略能力,但用户拥有的代理可能在达成协议的同时损害用户的利益,例如隐私泄露、同意违规、无效倡导、过度让步、升级失败或审计性差。
我们引入了 SovereignNegotiation-Bench,这是一个针对私人效用、披露约束、证据要求和制度不对称的委托个人代理谈判的多轮基准。该基准将代理可见的可观察状态与评估者专有标签分离,并共同评估协议成功与用户效用、隐私、同意、证据基础、让步纪律、升级和审计性。
我们报告了对 240 个场景、4 个模型家族、14 个基线、13,440 个冻结提示的实时轨迹、61,135 行解析动作和对 300 项目的盲审计的验证结果。最强的协议最大化基线实现了最高的协议率,但用户效用低且隐私/同意风险高;而 FullSovereign 虽然没有最大化协议,但通过保持效用、最小化泄露、基础证据和减少未授权承诺,获得了最佳的主权谈判得分。结果表明,仅仅实现协议成功不足以满足用户拥有的谈判代理的需求。
博主点评: 该基准的提出为个人代理的谈判提供了更为全面的评估标准,强调了隐私和用户利益的重要性,未来在设计智能代理时应更加关注这些关键因素,以实现真正的用户授权与保护。