视觉语言动作（VLA）模型在机器人操作中展现出强大潜力，但其后训练仍主要依赖于对机器人演示的轨迹级监督模仿。该方式虽然能学习可行动作，却把策略约束在每一步复现专家动作，导致策略倾向于演示特定的动作路径，并且在执行偏离演示轨迹后缺乏恢复到任务进度状态的指导。为克服这一局限，本文提出 OGPO——一种离线目标条件策略优化框架，专为可恢复的 VLA 后训练设计。OGPO 不再把离线演示仅视为逐步动作标签，而是自适应地为轨迹标注语义关键状态，并构造目标条件的过程奖励，以优化策略达到这些任务进度状态。通过这种方式，OGPO 将 VLA 后训练从轨迹级动作模仿转向关键状态可达性学习，使策略能够在无需额外在线交互的情况下，从可行的非演示状态恢复并完成目标状态。实验在 LIBERO 与 MetaWorld 上进行，结果表明 OGPO 相较于标准监督微调持续提升 VLA 策略性能。进一步在 LIBERO-Plus 与本文提出的中途扰动基准 LIBERO-ReAct 上评估，验证了 OGPO 在分布迁移和可恢复的非演示状态下具备更强的鲁棒性和目标导向恢复能力。
点评