NeFut Logo NeFut
EN 管理员登录

[AI学术] 大模型全流程训练框架:从数据与分词到预训练再到后训练对齐的系统综述

发布于:2026-10-27 22:00 最后更新:2026-10-29 00:58
#AI #Machine Learning #LLM

本文提出了一套统一的阶段划分与六维分析框架,用于系统化理解大语言模型(LLM)和多模态大语言模型(MLLM)的完整训练流水线。六个维度分别是数据、目标函数、优化策略、系统约束、评估方式以及风险治理。我们对 2017‑2026 年间的 395 篇核心文献进行梳理,绘制了跨阶段影响的概念图:预训练对后训练施加前向约束,后训练又能反向赋能数据采集与预训练设计。三大核心发现如下:

  1. 规模律的可比性高度依赖数据质量与混合比例,这一变量长期被忽视。
  2. 偏好对齐方法(如 RLHF、DPO)以及带可验证奖励的推理强化学习重新定义了后训练的边界,但 Pass@1 与 Pass@K 的争论仍未得到统一答案。
  3. 多模态训练对纯文本分词器、训练目标和评估体系提出结构性挑战,迫使社区重新审视 tokenizer 设计。

论文还提供了跨阶段影响示意图、方法族映射、实用决策树以及不少于十个可验证的开放问题,并给出可扩展的子调查骨架,以便后续针对单一阶段开展深入研究。

点评

原文链接: https://arxiv.org/abs/2610.33451

[h] 返回首页