摘要
Vision-Language-Action (VLA) 模型在多种具身任务中展现了卓越的性能。然而，将 VLA 模型部署在低功耗的板载设备上（如 Jetson Orin）仍面临挑战，主要由于其高计算复杂度导致显著的推理延迟和较低的控制频率。异步推理可以通过并行执行动作和后续推理部分掩盖这种延迟，但这也引入了两个关键问题：感知与执行的失调以及较长的反应时间。
为了解决这些问题，我们提出了 Jetson-PI，这是一种通过前瞻性对齐异步校正来高效部署 VLA 的方法。为了解决失调问题，我们训练了一个轻量级的未来校正模块，该模块根据已承诺的动作预测未来环境表示，使得动作专家能够直接从未来时间步中预测动作。为了减少反应时间，我们引入了基于置信度的调度优化，能够自适应地平衡 VLM 和动作专家的调用，并辅以系统级加速，包括 CUDA 图重用、GPU 居留的中间缓冲和流展开。
大量实验表明，Jetson-PI 在 NVIDIA Jetson Orin 上的控制频率相比于简单的 PyTorch 和 vla.cpp 分别提高了 8.66 倍和 5.41 倍，同时在 LIBERO 基准测试中超越 VLASH 14.8% 的平均成功率。
我们的异步算法代码可在 GitHub 上获得，而基于 llama.cpp 的高效推理引擎可在 GitHub 上找到。
博主点评： Jetson-PI 的提出为低功耗设备上的 VLA 模型应用开辟了新的可能性，通过前瞻性校正和优化调度显著提升了机器人控制的效率，这不仅推动了技术进步，也为未来的智能机器人应用奠定了基础。