NeFut Logo NeFut
EN 管理员登录

[AI学术] CUA-Recovery:长时序计算机使用代理的错误恢复基准

发布于:2026-10-22 22:00 最后更新:2026-10-25 13:04
#algorithm #AI #Machine Learning

CUA-Recovery 是一个针对长时序计算机使用代理(CUA)错误检测与恢复能力的基准。随着 CUA 在跨多个应用的工作流中延伸,未被检测的错误会悄然破坏持久状态并导致后续动作级联失效。可靠的错误感知与恢复已成为构建稳健 CUA 的关键瓶颈。现有基准主要衡量端到端任务成功率,难以评估执行过程中的错误识别与修复。少数评估恢复的基准依赖人工注入错误,难以覆盖真实策略产生的错误类型与时长。为此我们基于 ReRail 框架构建 CUA-Recovery。ReRail 能在持久桌面环境中合成长时序任务与轨迹,复用 MyPCBench 任务生成新工作流并提供可执行的真值;同时收集多策略下验证器确认的失败,并转化为经过验证的恢复轨迹。CUA-Recovery 包含 2,250 条经人工验证的错误状态(覆盖 100 项任务)的测试集,以及 8.6K 条覆盖 377 项任务的训练轨迹。实验表明,六种代理在六种接管深度下的错误感知率(EAR)最高仅 44.0%,Pass@3 最高 25.5%。在训练集上微调 Qwen3.5-35B-A3B 后,平均 EAR 从 19.9% 提升至 35.2%,Rubric Score 从 5.0% 提升至 16.1%。该模型在 MyPCBench 与 Odysseys 上的 Pass@3 分别提升 15.3 与 10.8 分,说明训练轨迹同时提升了恢复能力和从干净状态开始的任务完成度。代码已开源:https://github.com/xu-hu-2002/CUA-Recovery

点评

原文链接: https://arxiv.org/abs/2610.27645

[h] 返回首页