移动 GUI 代理经常需要执行相似的重复任务。直接复用先前的执行可以显著降低 LLM 推理次数和执行开销,但用户指令的细微差别以及运行环境的变化往往会导致之前成功的操作失效。我们将这些变化系统化为六类典型情形,并发现并非所有步骤都必须重新执行:只要在当前任务上下文和界面状态下验证通过,单个转移仍然可以复用。\ 基于此观察,我们提出了图‑文本模板用于选择性轨迹复用。图结构记录 UI 状态及动作转移,文本部分编码任务意图、过程结构以及可变槽位。\ 在 "record‑template‑replay" 框架中,系统首先从已验证的执行中生成模板,然后在收到新指令并获取实时 UI 状态后,对每个转移进行匹配、适配或丢弃。\ 实验表明,在 AndroidWorld 基准上,五种基线代理的 LLM 推理 token 消耗平均下降约 80%,大多数代理的执行速度提升至少 1.5 倍。真实设备(Android 与 HarmonyOS)测试中,动作复用率达到 70.7%‑79.8%,且多数配置的执行速度提升超过 2 倍。\
点评