机器学习模型在测试集上表现优异,但常依赖人口统计或采集相关的捷径。我们提出反事实(CF)边缘化作为测试时评估程序,用于衡量分类模型对这些噪声变量的鲁棒性。核心思路是:给定一个能够生成反事实图像的生成器,针对每张测试图像在父噪声变量(如年龄、性别)上进行干预,生成对应的 CF 版本;随后在目标干预分布上对模型预测取平均。该过程得到的预测既消除了人口统计效应,又保留了患者特有的潜在信息。基于这些预测,我们定义了 CF 风险、校准、稳定性和最坏情况敏感度等度量指标。实验在多个数据集上展示了该框架在定量评估鲁棒性方面的有效性。
点评