Megatron-LM

Megatron-LM 和 Megatron Core 是 NVIDIA 开发的 GPU 优化库，用于大规模训练 Transformer 模型。Megatron Core 提供 GPU 优化的构建块，支持多种并行策略（张量、流水线、数据、专家和上下文并行）和混合精度训练（FP16、BF16、FP8、FP4），适合开发自定义训练框架。Megatron-LM 是一个参考实现，集成了 Megatron Core 和预配置训练脚本，便于研究和快速实验。它能高效训练数十亿参数模型，实现高模型 FLOP 利用率，并支持 MoE 等先进架构。

• GPU优化，实现大规模Transformer模型训练
• 支持张量、流水线、数据、专家和上下文并行策略
• 提供FP16/BF16/FP8/FP4等混合精度训练支持
• 高效训练高达4620亿参数模型，MFU高达47%
• 兼容Hugging Face模型，支持MoE模型及新兴优化器