摘要
视觉-语言-动作模型 (VLAs) 从预训练的视觉-语言模型 (VLMs) 中继承了语义能力，但大规模的机器人数据后训练和架构修改可能会极大地重塑模型的骨干，使得难以隔离VLM对控制的贡献。通过最小的架构变化直接将预训练的VLM转换为VLA，提供了一条更透明的路径来理解VLM能力如何在模型规模上转移。
核心障碍是输出分布不匹配：将动作预测为裸数值令牌序列会使生成远离VLM的预训练语言分布，从而降低我们希望保持的能力。为了解决这个问题，我们提出了CLAP（因果语言-动作预测），该方法在每个数值动作序列前添加自然语言动作描述，使得精确的动作令牌预测因果条件于语言-动作计划，而无需修改骨干架构。仅通过单次时期微调，2B CLAP在LIBERO上达到了90.8%（比VLA-0提高了14.9个百分点），并在LIBERO-PRO上提高了在语言、物体和空间扰动下的鲁棒性。
我们将发布0.8B、2B和4B的CLAP，作为来自单一VLM谱系的开放权重多尺度紧凑VLA系列，能够控制分析VLM到VLA的能力转移。
博主点评： CLAP的提出为VLM与VLA之间的转换提供了新的思路，通过因果语言-动作预测的方式，显著提升了模型的鲁棒性与效率。这一方法不仅保留了VLM的语义能力，同时在实际应用中也具有较大的灵活性，值得关注和进一步研究。