
,在显存和性能仿真精度上实现了突破性提升,同时引入多项关键功能,进一步增强了模型兼容性、灵活性。
SimuMax是一款专为大语言模型(LLM)分布式训练负载设计的仿真模拟工具,可为从单卡到万卡集群提供仿真支持。
它无需实际执行完整训练过程,即可高精度模拟训练中的显存使用和性能表现,帮助用户提前了解训练效率,优化计算效能。
基于静态分析模型,摩尔线程自研的SimuMax通过结合成本模型、内存模型和屋顶模型,实现对训练过程的精准仿真。
数据并行(DP)、张量并行(TP)、序列并行(SP)、流水线并行(PP)、专家并行(EP)
SimuMax 1.0最显著的更新在于其仿真精度的大幅提升,为用户提供更可靠的分析结果。
针对Dense和MoE(混合专家)模型,显存估计误差稳定控制在1%以内。
此外,SimuMax 1.0还引入了多项新特性,支持更广泛的模型结构和高效率训练需求:
在混合专家(MoE)模型中支持自定义Dense层,为模型设计提供了更大的灵活性。
提供简化的模型迁移流程,可轻松转换和分析基于Megatron框架的模型,提升与现有生态的互操作性。