NeFut Logo NeFut
EN 管理员登录

[AI学术] DeltaReplay:面向任务的移动 GUI 代理记忆复用

发布于:2026-10-10 22:00 最后更新:2026-10-12 00:49
#algorithm #AI #Machine Learning

移动 GUI 代理常通过记忆库保存成功的执行轨迹,并在后续任务中尝试复用。然而,存储的轨迹很少能与新任务完全匹配。新任务可能使用不同的参数,只共享部分步骤,甚至在记忆中找不到相关记录。强行使用无关记忆会误导代理,而丢弃可能有用的记忆又会失去经验指导。

为了解决这一两难,本文提出 DeltaReplay——一种在步骤层面决定记忆使用方式的框架,且不对记忆本身进行修改。我们发现,可复用的轨迹片段并非由记录本身决定,而是由其与新任务的关系决定,核心因素包括页面级一致性和动作级通用性。

因此,我们将执行轨迹存储为转移图的路径,节点代表页面,边代表页面间的动作。每条边的动作进一步拆分为任务无关的操作和任务特定的参数。复用时,DeltaReplay 会逐步比较记录的步骤、当前屏幕以及新任务的需求,决定是直接沿用、替换参数后执行,还是交由基础代理自行处理。

在 AndroidWorld 和 SPA-Bench 两套基准上,DeltaReplay 在保持相同模型骨干的前提下,将任务成功率分别提升了最高 10.3% 和 25.0%。这些结果表明,在每一步动态决定记忆使用方式,使得代理即使只匹配到部分轨迹也能受益。

点评:DeltaReplay 通过转移图和参数分离实现了细粒度记忆复用,显著提升了移动 GUI 代理的鲁棒性和效率,为记忆增强型智能体提供了新的设计思路。

原文链接: https://arxiv.org/abs/2610.11707

[h] 返回首页