线性回归和核平滑提供了对上下文学习的可解释框架：特征决定了每个上下文标签的权重。然而，这种固定权重的解释是否适用于预训练的表格基础模型（TFM）尚未明了。直接使用导数检验会陷入标准化陷阱——公开的 TFM 包会在模型看到标签前先对标签进行标准化，而普通导数同时捕捉了模型在非标准化标签空间的行为，导致模型看似非线性，即便所有预测都符合固定权重映射。为此我们提出了两种仅依赖于标准化标签预测的证书，能够分别排除固定权重预测和独立非线性标签变换之和的解释。对五个公开的 TFM 进行实验后，证书显示更换一个上下文标签会改变其他标签对预测的影响，这种现象我们称为联合处理。进一步分析表明，联合处理随训练过程逐渐显现，注意力得分承担了大部分交互信息。整体结果提示，对 TFM 的解释需要考虑上下文标签之间的相互影响。
点评