在长远的机器人规划中，需要对语义任务结构和几何可行性进行联合推理。为了成功执行任务，机器人必须分解目标、选择与任务相关的对象，并对行动进行排序，同时确保计划满足空间约束，如有限的自由空间和对象碰撞。
本研究提出了APIVOT，这是一种基于视觉-语言模型(VLM)的规划器，能够自适应地交织语言和视觉思维，以进行长远规划。APIVOT学会利用语言进行语义推理，同时使用视觉思维作为内部验证几何可行性的想象未来状态。在长远的厨房任务中，APIVOT表现优于通用的VLM和先前的规划框架，在空间约束设置中获得了最大的性能提升。
我们的研究发现，APIVOT能够学习到有意义的模态选择行为，证明了视觉-语言思维的自适应交织能够提高规划成功率和推理效率。
博主点评： APIVOT的设计不仅突破了传统机器人规划的局限，还展示了语言与视觉信息的深度融合，极大地提高了机器人在复杂环境中的适应能力和效率。这一方法将为未来的智能机器人系统提供新的思路和方向。