本文提出了 Action--Future Coupled Effect Learning (AFCE),将机器人执行后产生的物理效果作为策略的主要预测目标,而非传统的动作片段。离线分词器会根据示范动作、机器人实际响应以及稀疏的视觉变化,生成按时间顺序排列的 Effect 标记。重建目标迫使表示保留可执行细节和观察到的物理变化。
基于流匹配的 VLA 模型从当前图像、指令和机器人状态预测 Effect,随后由状态条件解码器将其转化为具体的动作块。通过统一的 Effect 模型,单臂和双臂任务可以共享同一套表征。
在 DexJoCo 基准上,AFCE 达到整体成功率 \@@@MATH_BLOCK0@@@,相较于 (\pi{0.5}) 和 UVT 分别提升 11.82 和 15.21 个百分点,并在全部五个双臂任务中保持领先,验证了 Effect 监督对协同精细操作的价值。项目页面:https://afceproject.github.io/AFCE-Web/。
点评