零售情报常通过监测热销、高频商品来估计宏观经济指标,但这会忽视“长尾”细分商品,导致选择偏差。本文通过模拟实验系统评估了通胀估计中的选择偏差,并比较了逆概率加权(IPW)和分层校正两类方法在不同数据生成过程下的表现。
实验设计包括 400 次 Monte Carlo 复现,覆盖四种情景:
- 对齐的阶梯函数(step function)
- 平滑梯度(smooth gradient)
- 未对齐的断点(misaligned breaks)
- 多项式关系(polynomial relationship)
在每种情景下,我们分别测试了五种 IPW 规格以及不同层数的分层方法。主要发现如下:
- 在三种情景中,分层校正的中位误差均低于 0.04 个百分点,即使分层边界刻意与总体断点错位,仍比 IPW 优势约 116 倍。
- 当真实关系为平滑多项式时,使用样条(spline)倾向模型的 IPW 取得最佳表现(中位误差 0.007pp),优于分层的 0.013pp,说明方法优劣取决于数据结构。
- 即便是拥有完美结构信息的“oracle” IPW,在阶梯函数情景下仍出现 6.06pp 的误差,而分层仅为 0.008pp,这并非 IPW 本身的缺陷,而是 Positivity 假设 被严重违背——即某些子群的选择概率极低(如 90% vs 1%),超出了加权方法的理论适用范围。
结论:在零售长尾分布且出现严重 Positivity 违背的场景下,分层校正是更安全、更稳健的工程实现。
博主点评:这篇工作提醒我们,在实际业务中盲目使用 IPW 可能因选择概率不均而失效。分层方法虽然看似简单,却在多数非理想情形下提供了更可靠的估计,是零售数据分析的首选工具。