摘要
视觉-语言-行动（VLA）模型旨在将多模态输入映射到机器人动作。然而，现有方法在处理复杂动态场景时面临挑战，因为它们将所有视觉标记视为均匀，并依赖人类选择的因素，这导致缺乏强调任务关键证据的机制，并忽视了潜在因素。
为了解决这一问题，我们提出了LEEVLA，这是一种VLA架构，能够在潜在环境演变中明确引导模型关注重要区域，同时保持潜在世界表征的结构化演变。
方法
为了识别显著且与指令相关的区域，我们引入了漂移引导动态优先级（DGDP），它结合了动态位置优先级（DPP）与语义漂移引导（SDG），指导VLA代理在训练期间关注何处。
基于此，我们还引入了结构化特征流生成（SFFG），该方法通过原型到边缘（P2P）预测建模这些优先特征在潜在空间中的演变，并使用互邻对比（MC）损失来维护邻域之间的拓扑一致性。
DGDP和SFFG共同构成了一个任务感知的“何处-如何”训练框架。
实验
在VLA基准上的大量实验表明，LEEVLA始终优于之前的方法，确认了显式任务证据引导和结构化潜在推理对于可扩展VLA的重要性。
我们的代码可在 GitHub 上获取。
博主点评： LEEVLA通过创新的DGDP和SFFG方法显著提升了VLA模型在动态环境中的表现，展示了明确的任务导向和结构化推理在复杂场景下的重要性。这一研究为机器人智能化提供了新的思路，值得关注。