在云边缘大规模视觉-语言模型（LVLM）推理中，通过将计算分配给边缘设备和云服务器，实现了高效部署。然而，在这一过程中，边缘设备传输给云端的中间视觉令牌暴露了新的攻击面。本文研究了视觉令牌操控攻击（VTM-Attack），在黑盒中间人设置下，攻击者在预算限制条件下拦截并操控部分传输的视觉令牌。
我们提出了四种简单的攻击策略，以及一种基于优化的令牌选择方法。实验表明，在6个最先进的LVLM（参数范围为3B-72B）和4个基准测试中，仅操控10%的视觉令牌就能使准确率降低高达88.31%。这些结果揭示了云边缘LVLM推理中的关键脆弱性。
博主点评： 本文指出了云边缘推理中存在的严重安全隐患，尤其是在视觉令牌的传输过程中，攻击者可以通过简单的操控手段显著降低模型的性能。这一研究为未来的安全防护机制提供了重要的参考。