在模型特定的对抗攻击研究中,本文探讨了一种不同的失败模式:视觉数据中自然存在的统计信号,这些信号可以表现得像后门触发器,但并非恶意插入。我们称之为统计对手。
我们分析了 Imagenet 数据集,发现某些标签与特定模式有着强烈的关联。然后,使用统计控制来去除候选信号中的随机相关性。最终,我们证明了这些信号直接且可预测地改变模型的预测结果。
这些统计对手比一般的干扰更具针对性,且在不同的模型架构中具有迁移性。这表明,一些脆弱性是由数据集的结构和分布驱动的,而不是单个模型的特性造成的。
我们得出结论,普通数据集中即使在没有中毒的情况下,也可能包含可被利用的对抗性表面。因此,数据集审计应将虚假结构视为偏差或可解释性失败的来源,同时也应视为视觉模型的潜在攻击面。
博主点评: 本文揭示了视觉数据集中的统计信号可能成为潜在的攻击面,提示我们在使用数据集时需要更加谨慎。数据集的结构和分布可能会导致模型的脆弱性,这一发现为未来的研究提供了重要的方向。对数据集的审核应更加全面,考虑到这些潜在的安全隐患。