评估并行化策略在大规模分布式训练中成本极高,性能模拟提供低成本替代,但现有模拟器在建模阶段和工作负载上不一致,难以公平比较。
LM-SimBench 提出统一框架,将模拟拆分为从模型编译到调度聚合的功能阶段,连接执行表示、成本估计与可测评目标。
基于该框架,我们在 Ascend NPU 集群上对 10 种密集和 MoE LLM 家族的 23 种模型配置进行剖析,得到 348 条可行配置,覆盖五个并行维度和激活重计算,提供配置、秩、算子、事件、内核五层视图。
使用代表性训练模拟器进行评估,展示了 LM-SimBench 在预测精度比较、配置选择评估以及误差诊断方面的作用。
GPU 与 NPU 的匹配实验验证了跨平台适用性,并证明了基于 NPU 的 GPU 配置选择可行。
点评