摘要
尽管在具身人工智能领域取得了一定进展，视觉与语言导航系统仍然容易受到对抗性视觉干扰的影响。大多数现有方法依赖于对目标模型梯度的白箱访问，这在实际部署的系统中往往不切实际且计算开销大，限制了其适用性。尽管之前的黑箱方法主要针对单步、瞬时决策任务，但在处理任务复杂性和时间依赖性方面却表现不佳。因此，开发一种不依赖梯度的攻击方法，能够有效破坏多步序列感知-行动循环，仅依靠可观察的输入和输出，显得尤为重要。
为此，我们提出了AdvNav，一个行为引导的黑箱对抗攻击框架，旨在干扰导航过程中代理的第一人称视角。为在黑箱设置下构建一个信息丰富的替代目标，以有效优化引导，我们设计了一种双粒度行为反馈机制，聚合了代表整体导航性能下降的轨迹级表现分数、考虑潜在决策风险的动作级奖励分数以及偏差指标，这些均来源于代理自我输出行为。此反馈指导了一种混合优化策略，通过自适应更新启发式调整扰动强度，并基因演化噪声空间结构，以迭代发现最具破坏性的噪声配置。
在R2R数据集上对Transformer基础的HAMT和基于LLM的MapGPT进行评估，AdvNav达到了49.70/65.96/87.30%的攻击成功率。这一结果展示了AdvNav的有效性和通用性，揭示了关键的感知脆弱性，并为未来抗干扰的视觉语言导航模型设计提供了见解。
博主点评： AdvNav框架通过创新的行为引导机制，成功实现了黑箱环境中的对抗攻击，突破了传统方法的局限。这不仅为视觉语言导航系统的安全性提供了新的思路，也为相关研究开辟了新的方向。未来的研究可以进一步探索这一方法在不同场景中的适应性与扩展性。