NeFut Logo NeFut
EN 管理员登录

[AI学术] 正确答案,封闭之门:SolveBind 在验证屏障下的 GUI 代理

发布于:2026-10-26 22:00 最后更新:2026-10-27 00:43
#AI #Machine Learning #LLM

网站和应用常用 CAPTCHA 与反自动化机制,通过交互轨迹、时序等行为信号来区分人类和自动化代理,而不仅仅依赖任务结果。这类受保护的 GUI 环境要求代理在完成验证任务后,还必须将求解结果转化为被系统接受的交互,并在时间限制内根据运行时反馈动态调整执行。\ \ 我们提出 SolveBind,一个结合层次求解与运行时监督的 GUI 代理框架。框架将验证任务拆解为 Perceive、Ground、Solve、Act、Verify 五个相互依赖的能力节点,形成层次求解树。运行时监督器基于工具产生的证据对动作承诺进行 grounding,随着证据到达实时修正,并在显式的恢复预算下调度执行。\ \ 在九类 CAPTCHA 任务和九种主干模型的实验中,SolveBind 在八个主干上取得最高成功率,较最强基线提升 13.3%~34.5%。在 AndroidWorld 的六个主干上也保持最高成功率。与 GPT‑5.5 的配对分析显示,MobileAgent 能给出正确答案,但在 90 任务中有 13 例动态验证失败;SolveBind 在其中 7 例成功。\ \ 自动提交实验表明,去除绑定机制会使成功率从 82.22% 降至 71.56%,并显著增加延迟和 token 消耗。恢复上限的设置可以在略微降低成功率(去除后成功率升至 83.56%)的同时,将延迟和 token 使用分别提升至 3.7 倍和 2.4 倍。\ \ 这些结果验证了基于证据的执行控制的有效性,并揭示了恢复策略与启发式提交规则的成功‑成本权衡。\ \ 点评

原文链接: https://arxiv.org/abs/2610.32223

[h] 返回首页