计算机使用代理能够完成日益复杂的 GUI 任务，但面对陌生软件和需要人类领域知识的工作流仍然困难。人类演示在同一 GUI 交互空间中传递过程性知识，若要复用必须在上下文中解释动作并将工作流规则与任务细节分离。为此我们提出 Work2Skill 框架，用于捕获人类 GUI 经验并生成可复用的代理技能。WorkRecorder 提供基础设施，能够同步屏幕录像、鼠标键盘事件以及可访问性树信息。基于 WorkRecorder 我们构建了 WorkDemo-350，这是首个同步多模态的人机桌面 GUI 演示数据集，包含 350 条经完整性和任务成功性筛选的示例。随后我们设计了一种代理技能诱导方法，按需检查证据以生成包含工作流规则、步骤依赖和完成检查的可复用技能。四种执行模型在相同设置下使用本方法诱导的技能后，Work2Skill 获得最高得分和成功率。相较于无技能基线，MyPCBench 有界动作得分提升 4.67‑10.54 分，OSWorld‑Verified 子集（286 任务）提升 3.11‑7.50 分。代码与数据已公开于 https://github.com/china-qijizhifeng/Work2Skill。
点评