在大型预训练模型的视觉导航策略中，通常遵循一个共同的流程：专用的视觉编码器、定制的动作头，以及在数千小时的跨体数据集上进行训练。本文提出了GemNav，一种视觉机器人导航策略，它仅利用冻结的多模态大型语言模型（MLLM）进行短期至中期的航点导航，而不需要辅助的视觉编码器和连续回归头。航点和类别导航信号共享一个由语言模型头生成的离散标记词汇，同时使用软解码的辅助损失恢复了纯交叉熵训练所丢弃的度量结构。
在一个单一的8.7小时开放语料库上，GemNav的训练集规模比竞争对手小三个数量级，策略能够零-shot地迁移到四个物理上不同的未见环境，并在20次真实世界试验中，距离目标停止在0.25-0.42米之间，试验场景包括开放停车场、障碍停车场、长户外化学场和室内仓库。虽然对短时间图像历史的条件化提高了离线指标，但并未给机器人带来优势，表明在预训练视觉特征到位后，时间上下文的添加存在上限。这些结果表明，冻结的MLLM的离散标记适配为基础模型的机器人导航提供了一种数据高效、可部署的替代方案。
博主点评： 该研究展示了多模态大型语言模型在机器人导航中的潜力，尤其是通过离散标记的适配方式，能够显著降低对大规模数据集的依赖。这为未来的机器人导航系统提供了新的思路，尤其是在数据稀缺的环境中，展现了优秀的迁移能力和效率。整体来看，GemNav可能会是行业内的一次颠覆性进展。