在本文中,我们推出 ZGCM-1,一款 7B 参数的稠密基础模型,完全开源并从零开始训练,具备极致的数据、系统和算法效率。\ \ 核心理念是:紧凑模型无法被动记忆整个开放网络,但通过内部主动思考并结合外部工具使用,可突破参数容量的限制,实现 256K 上下文的高效推理。\ \ 为支撑该范式,我们设计了端到端的高效训练方案:\
- 架构与系统协同设计:交错门控滑动窗口与全注意力相结合,配合稳定的 FP8 Muon 优化器。\
- 进阶课程与 MDP 中期训练:上下文规模逐步扩展至 16K、64K、256K,并将交互轨迹重新表述为马尔可夫决策过程(MDP)。\ \ 此外,我们构建了 AI 原生的研发工作流,使用代理群体自动管理集群运维、数据策划以及快速诊断评估,实现全流程自主化。\ \ 评估表明,ZGCM-1-7B 在通用基准上与同类 7B 模型持平;在多个高难度数学推理和代理搜索任务上,仍能与参数量数百倍更大的前沿模型(如 Qwen3-235B-A22B、GLM-5.1)竞争。\ \ 在预训练阶段,针对 16K 上下文的时间‑损失比提升约 4.2 倍,展示出显著的效率优势。\ \ 我们在完整研发周期中提炼出八条可操作的经验发现,涵盖架构扩展、SFT 质量剪枝、长上下文泛化以及代理协同训练动力学等方面。\ \ 为促进社区研究,项目开源了预训练、中期、后期的模型权重及中间检查点,完整训练代码、各阶段数据与配方,以及 W&B 记录日志。\ \ 点评