本文提出了一套统一的阶段划分与六维分析框架,用于系统化理解大语言模型(LLM)和多模态大语言模型(MLLM)的完整训练流水线。六个维度分别是数据、目标函数、优化策略、系统约束、评估方式以及风险治理。我们对 2017‑2026 年间的 395 篇核心文献进行梳理,绘制了跨阶段影响的概念图:预训练对后训练施加前向约束,后训练又能反向赋能数据采集与预训练设计。三大核心发现如下:
- 规模律的可比性高度依赖数据质量与混合比例,这一变量长期被忽视。
- 偏好对齐方法(如 RLHF、DPO)以及带可验证奖励的推理强化学习重新定义了后训练的边界,但 Pass@1 与 Pass@K 的争论仍未得到统一答案。
- 多模态训练对纯文本分词器、训练目标和评估体系提出结构性挑战,迫使社区重新审视 tokenizer 设计。
论文还提供了跨阶段影响示意图、方法族映射、实用决策树以及不少于十个可验证的开放问题,并给出可扩展的子调查骨架,以便后续针对单一阶段开展深入研究。
点评