摘要
视觉变换器（ViTs）在面对局部对抗攻击（如对抗补丁）时仍然脆弱，而最近的测试时防御机制通过抑制具有异常高注意力得分的图像标记来缓解这些攻击。这些防御机制利用了注意力与对抗有效性之间的强耦合关系：对抗标记通常需要吸引大量注意力才能影响预测。
我们引入了对抗诱饵，这是一种独立优化的图像补丁，旨在重定向注意力，从而将相关防御机制引导到选定的目标标记上。与其联合优化错误分类和防御规避，我们的方法解耦了这两个目标：原始对抗区域诱导错误预测，而单独的诱饵则操控防御所用的注意力排名。
层级目标增加了目标标记的注意力，并提升这些标记相对于竞争的非目标标记的排名。
由于诱饵是独立于基础攻击进行优化的，因此该方法具有攻击无关性，能够轻松与任何现有的对抗补丁攻击集成。我们在ImageNet上针对多个ViT架构和攻击的实验表明，诱饵能够将高注意力得分从真实的对抗区域重定向，同时保持攻击的有效性。这些结果揭示了使用注意力大小作为对抗相关性指标的基本局限性。
博主点评： 该研究展示了对抗攻击领域中的创新思路，通过引入对抗诱饵有效地挑战了现有的基于注意力的防御机制。这一方法不仅提升了对抗攻击的隐蔽性，还为未来的防御策略设计提供了新的视角，值得引起关注。