NeFut Logo NeFut
EN 管理员登录

[AI学术] PersonaCodeBench:基于角色的交互式编码代理评估

发布于:2026-11-05 22:00 最后更新:2026-11-07 12:32
#AI #Machine Learning #LLM

PersonaCodeBench 是一个面向编码代理的评估基准,重点考察在多轮交互中满足用户角色化需求的能力。基准将用户的角色、技术水平、交互偏好和工作约束转化为可验证的义务,形成从实现、权限、测试、解释到交付的完整需求链。运行时,控制器负责模拟用户的响应并决定何时披露需求,使用在线需求评估即时反馈并推动会话前进。需求在评估前已固定其内容、披露条件和接受标准。系统包括实现正确性的完成验证器和角色符合性的个性化验证器,只有同时通过两者才算成功,并需满足声明的预算限制。我们对所有主流前沿编码代理进行评测,公布排行榜并进行细致实验,证明基准在可复现性和有效性方面的优势。PersonaCodeBench 为评估编码代理在实现代码目标的同时满足明确、个性化用户期望提供了统一平台。

点评:该基准通过将用户角色形式化为可验证义务,填补了交互式编码评估中个性化需求的空白,为未来的代理研发提供了明确的测评标准。

原文链接: https://arxiv.org/abs/2611.05739

[h] 返回首页