摘要
在对基于扰动的OOD检测器进行审计时，我们在文档基准上记录到AUROC为0.326，远低于0.5的偶然水平。其原因是基准泄露：指定的"OOD"类别是模型训练时使用的，因此其示例位于内部分布适合集中，检测器因正确地将其排名为熟悉而受到惩罚。通过删除该类别并在两个领域中重新训练35个模型，分数提升至0.911。
我们将这种污染提炼为泄露指纹——接近完美的监督解码能力（AUROC约为1）和无监督检测能力低于0.65，并在控制的52个设置（20个泄露，32个干净）上进行了验证，使用ResNet-50和ViT-B/16在CIFAR-10/100上，嵌入空间的灵敏度为18/20，特异性为31/32；匹配的适合集排除控制为20/20的完美表现。对24对标准近/远OOD基准的实地审计仅在一个案例（本质上困难的CIFAR-100与CIFAR-10对）上触发，且在没有远OOD对的情况下，确认了特异性，且标准的跨数据集构建是干净的。
在修正的协议下，扰动信号可解码但不可检测：监督读取器恢复OOD信号（AUROC 0.87-1.00），而无监督检测器无法做到，扰动方法未能超越普通的Mahalanobis距离。我们提供了理论解释，并为透明度收回了早期的循环相关性。我们的贡献在于修正的协议和已验证的泄露诊断，而非新的OOD方法。
博主点评： 本文揭示了近OOD检测中的潜在问题，尤其是基准泄露对模型性能的影响。通过清晰的实验设计和理论分析，作者为领域内的研究提供了重要的见解，也为后续研究指明了方向，尤其是在如何构建更为可靠的OOD检测器方面。