NeFut Logo NeFut
EN 管理员登录

[AI学术] 从交互轨迹到持久技能:计算机使用代理的在线进化

发布于:2026-09-07 22:00 最后更新:2026-09-08 00:37
#AI #Machine Learning #Open Source

计算机使用代理能够在图形界面中完成日益复杂的任务,但其交互经验往往是瞬时的:一次 rollout 获得的过程性知识不会系统地保留下来、细化或在后续任务中复用。现有的技能库提供外部过程性知识,但其相较于不使用技能的同一代理的增量价值,以及在重复交互下的长期动态,仍缺乏充分的描述。我们提出一种在线技能进化框架,将交互轨迹和评估者反馈转化为可持久化、带版本的可复用过程库。每一次迭代在冻结的库快照上执行,基于证据的技能更新在后续迭代中可用,而模型参数保持不变。我们在四个 OSWorld 应用域中,对比了完整进化库系统与配置相同的空库对照,使用相同的动作生成与 GUI 对齐堆栈、任务集和迭代时限。经过五轮空库热身后,完整系统在所有四个域的热身后平均评估得分均高于空库,差值在 5.7% 到 18.6% 之间,且随域不同表现出不同的时间稳定性。在 GIMP 场景中,基于来源的分析显示技能检索跨任务边界发生,并出现修订 churn:重复接受的编辑未能恢复其来源任务。这些结果表明,进化的技能库是一种可审计、可共享的过程记忆,能够提升固定的计算机使用堆栈,但其收益具有条件性,重复修订并不保证恢复。代码已开源:https://github.com/LongtaoHu/Skill-Evo4GUI

点评

原文链接: https://arxiv.org/abs/2609.04869

[h] 返回首页