我们在 LimiX 系列中推出了 LimiX-2，遵循此前提出的 scaling laws，通过模型规模和数据规模的同步扩展实现。LimiX-2 采用 Contextual Mechanism Networks（CMN）范式，并使用 Context-Conditional Masked Modeling（CCMM）进行预训练。CMN 将 in‑context learning 的组织原则从传统的以目标为中心的预测转向机制导向的联合建模。与传统表格 PFN 关注 $p(y \mid x, D_{\mathrm{context}})$ 不同，CMN 以学习 $p(x, y \mid D_{\mathrm{context}})$ 为核心，捕获上下文依赖的联合结构。
预训练数据由结构因果模型（SCM）生成，覆盖多种图结构、函数机制以及观测过程，形成高度多样的合成数据集。实验在 TabArena、TALENT 和 BCCO 三大基准上进行，LimiX-2 在预测精度上显著超越现有的专用数据集模型和通用表格基础模型。
除了提升预测性能，CMN 还赋予模型因果感知能力：特征注意力能够直接编码因果关系，从而实现准确的因果骨架恢复。
点评