具身代理需要通过一系列相互依赖的子任务完成复杂目标。现有的视觉目标条件策略大多在目标已可见的孤立交互中评估,未能覆盖连续长时程任务中的状态转移问题。每个子任务的起始状态由前一个任务的结束状态决定,代理可能位于不同位置或朝向,世界状态也可能已被修改,下一目标可能不在当前视野内,导致仅依赖当前观察的策略难以继续执行。\
Attacca 通过在完整的搜索‑交互轨迹上训练视觉目标条件策略来解决此问题。它采用 上下文解耦的目标采样:为每段演示配对来自其他世界的同类掩码目标图像,去除场景和姿态的直接对应关系。策略网络额外加入 目标掩码预测头,在动作模仿之外提供密集的当前视角 grounding 监督。进一步引入 行为阶段条件,让策略区分搜索、接近和交互三个阶段,并随执行进程自适应控制。\
在 Minecraft 的多项短时程和长时程任务上进行评估,Attacca 在短时程任务中实现 39.0%‑47.5% 的干净成功率,较最强基线提升 1.7‑2.4 倍;在长时程任务中完成率分别达到 54%、30% 和 28%,最高提升 7 倍。\
点评