在资源受限或隐私受限的场景下，基于上下文学习的表格基础模型（TFM）能够在无需额外训练的情况下解决新任务。然而，这类模型通常由多个 Transformer 块组成，导致计算和内存开销较大。相比之下，梯度提升决策树（GBDT）在 CPU 上运行高效，暗示表格任务并不一定需要深层结构。为检验是否可以在不牺牲性能的前提下简化 TFM，我们提出一种闭式、无标签的仿射翻译器，可替换连续窗口内最高 96% 的块，其余块保持不变。我们在 171 个分类数据集上评估了八种前沿 TFM，结果显示表格 Transformer 明显过参数化：替换掉一半块的模型在所有架构上仅导致 $0.002$ 的 AUROC 中位数下降，而半深度 TabFM 仍优于所有全深度 TFM 和调优后的 GBDT。不同模型族的过参数化方式各异：TabPFN-3 依赖编码器，无论保留哪一个块性能均不受影响；单轴模型只需首块即可工作；双轴模型则将计算集中在唯一关键块上。削减深度最多可节省 15 亿参数，使 GPU 推理加速至 $6\times$，中位数 AUROC 下降仅 $0.03$。单块 TabPFN-3 在缓存查询下速度提升 $2.4\times$，内存占用降低 $6\times$，几乎没有性能损失。
点评：本研究表明，表格任务并不需要深层 Transformer，合理的结构裁剪即可实现显著的效率提升，同时保持或超越现有方法的预测质量。