摘要
Vision-Language-Action (VLA) 模型通常被视为基于自然语言任务描述的端到端动作策略。然而，实际上，它们的行为常常明显依赖于指令的措辞，表明语言不仅仅是任务标签，而是一个可优化的条件输入。我们研究了是否可以通过优化语言空间来改进冻结的 VLA 策略，而不是更新动作权重。
我们的方案引入了一种语言条件空间策略，该策略将人类指令转换为短的 VLA 绑定命令，利用对象外观、空间关系和目标绑定线索。语言条件空间策略以失败导出的命令空间先验为初始化，并通过稀疏任务完成奖励的强化学习进行优化，而下游的 VLA 保持完全冻结。这导致了语言条件空间优化：强化学习发现哪些 VLA 绑定命令能最好地引发冻结动作策略的成功行为。
在 RL4VLA 和 VL-Think 上的实验表明，语言条件空间优化提升了对指令敏感的符号和多对象操作任务的成功率，证明了语言可以作为机器人基础模型的一个可优化变量。
博主点评： 这项研究展示了如何通过优化语言输入而非模型权重来提升 VLA 模型的表现，提供了一种创新的思路，强调了语言在机器人学习中的重要性和潜力。未来的研究可以探索更复杂的语言条件空间以及其对不同任务的适应性。