在视觉语言模型（VLMs）中，交互式物理推理的泛化能力存在显著不足，尤其是在未见过的任务和环境下。主要的失败模式包括：与物理现实相矛盾的虚假推理链（CoT）和模型推理与实际动作之间的不对齐。为了解决这两个问题，我们提出了 VAORA（视觉动作结果推理对齐），这是一种新颖的奖励设计。
VAORA 引入了两种互补的奖励机制：
- 视觉对齐奖励（Visual Alignment Reward）：将 VLM 的推理与视觉上下文相结合，独立于代理动作。
- 视觉-动作对齐奖励（Visual-Action Alignment Reward）：将推理与模型动作引发的视觉结果相结合。
通过这两种奖励机制，VAORA 能够抑制虚假的推理链，并减少推理与行为之间的差距。为了提高训练的稳定性，我们还通过使用预训练的领域内专家代理来估计成功概率，从而实现平滑且密集的奖励。
在 PHYRE 和 Virtual Tool 上的实验结果表明，VAORA 能够在新任务和未见环境下提供良好的性能，证实了通过 VAORA 可以诱导出扎根且可泛化的物理智能。
博主点评： VAORA 的提出为视觉语言模型在物理推理中的应用开辟了新的方向，通过引入视觉对齐和动作结果对齐的奖励机制，有效地解决了模型泛化能力不足的问题。这一方法值得在更多领域进行探索和应用。