NeFut Logo NeFut
EN 管理员登录

[AI学术] ECHOES:通过递归历史压缩与特权策略蒸馏实现超越当前图像的感知

发布于:2026-10-19 22:00 最后更新:2026-10-20 00:49
#AI #Machine Learning #optimization

长时程 GUI 代理需要视觉历史来保持任务状态,但保存所有截图会显著增加视觉 token 使用量和推理开销。纯文本摘要往往会丢失关键状态信息,导致长时程可靠性下降。ECHOES 通过利用训练阶段的特权信息,引导文本历史压缩并强化长时程推理。

ECHOES 采用 Compression‑Think‑Action(CTA)格式:先压缩当前视觉输入生成文本历史状态,再基于该状态进行思考,最后输出动作。相同模型在接收多图像特权输入时充当教师,对学生在 CTA 回滚中产生的 token 提供密集的 on‑policy 蒸馏。

为平衡特权蒸馏与任务奖励优化,ECHOES 引入感知‑记忆保真度(PMF)Gap 引导的 OPD‑RL 框架,动态调节两者权重,并周期性更新教师模型以持续提升。

我们还构建了 ECHOESBMK 基准,基于真实 GUI 代理失败轨迹提供细粒度诊断,能够同时评估视觉感知和跨模态状态保持能力。

在四个公开 GUI 基准以及 ECHOESBMK 上的实验表明,ECHOES 在任务成功率和记忆保真度上均取得显著提升。部署时无需保留历史截图,即可实现与保留截图方法相当的性能,并在推理成本上具有优势;此外,模型在未见视觉规划任务上表现出正向零样本迁移能力。

点评

原文链接: https://arxiv.org/abs/2610.22408

[h] 返回首页