近期大型（视觉）语言模型的进展使得能够通过细粒度键盘和鼠标操作自动化数字工作流的计算机使用代理成为可能。然而，这类代理在长时序任务中仍然脆弱，错误会累积，执行的动作会留下意外的副作用，因而恢复能力至关重要。现有的解决方案存在局限：在专有环境中无法重置环境，长时序的动作回放成本过高，基于 API 的回滚仅适用于网页环境，模型驱动的恢复研究尚少。为填补这一空白，我们提出 ReTrace——一个可扩展的评估框架，用于系统研究计算机使用代理的恢复行为。我们将“转移一致恢复”形式化为：从恢复状态和目标状态出发执行相同的后续动作，必须得到相同的结果。通过在受控错误注入后进行目标导向的动作回放，我们实现了该准则。利用 ReTrace，我们开展了首次对自主模型驱动恢复的系统研究，得到三点关键结论：① 理想的恢复能够释放模型潜在的任务完成能力；② 当前的计算机使用代理未能充分利用其潜在的恢复能力；③ 精确的模型驱动恢复能够带来可观的端到端性能提升。这些发现表明恢复是构建可靠计算机使用代理的基础能力。代码和数据集已在 https://github.com/BangProx/ReTRACE 开源。
点评：本研究通过 ReTrace 框架系统量化了恢复能力，对提升长时序任务的鲁棒性具有重要意义。