本文考察了对一个 8.4 B 参数的多模态基础模型进行三阶段后训练的行为：首先进行视觉‑语言对齐，其次进行推理蒸馏（仅数学），最后进行领域微调，全部在日语金融文档上完成。我们在五个仅文本输入的基准上评估模型，观察到各阶段的效果并非简单相加。
数学蒸馏阶段会抹掉之前学到的金融知识，尽管如此，模型保留了对程序化数学步骤的掌握。领域微调阶段更多是修复已有能力，而不是全新注入知识。若跳过数学蒸馏直接进入领域微调，模型在金融领域表现最佳，却失去了数值推理的提升。
因此，各阶段的贡献不可分解，最优检查点取决于具体任务。这一发现对模型检查点的保存策略和训练调度提出了新的思考，而不是单纯堆叠更多阶段。
点评