已部署的机器学习模型在输入数据分布发生漂移时会出现性能下降。漂移的来源主要有两类：一是人口特征的变化，二是特征生成管道中的数据完整性问题，这两者通过不同机制影响模型。由于标签往往缺失或延迟，实际工作中常通过监测数据漂移来间接评估模型，但仅凭漂移本身无法判断其对模型性能的具体影响。
我们将此问题形式化为分布漂移下的在线模型测试。测试的核心是把观测到的漂移在一个已知标签的受控基线环境中复现。因为相同的漂移可能来源于人口变化或数据完整性故障，复现时必须先辨别是哪种机制发生了变化。
为此我们提出一种方法论：分别在基线上模拟人口分布的改变和特征生成过程的错误，然后组合这两种模拟以估计当前模型的真实表现，并量化修复数据完整性问题可能带来的性能提升。
在多个真实数据集上加入模拟故障进行实验，结果表明将两类漂移源分离后，性能估计和潜在增益的预测均更为准确，验证了我们的问题设定和方法的有效性。最后，以一次客户流失预测任务为案例，展示了该测试框架如何帮助运维团队进行监控、问题定位以及修复优先级排序。
点评