MegaScale:把大语言模型训练扩展到一万张以上 GPU

MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs(arXiv:2402.15627)中文译本

原文 PDF:arxiv.org/pdf/2402.15627 · HTML:arxiv.org/html/2402.15627 · 代码:github.com/volcengine/veScale

原文:arXiv:2402.15627 · ByteDance & Peking University。并列一作:Ziheng Jiang、Haibin Lin、Yinmin Zhong;通讯:Xin Jin、Xin Liu。本页为忠实于原意的中文编译(意译与精炼为主),图表优先使用原文嵌入图;部分矢量示意图以 PDF 页渲染保留排版。数值与结论以原文为准。

摘要

本文介绍生产系统 MegaScale 的设计、实现与工程经验:在超过 10,000 张 GPU 的规模上训练大语言模型(LLM)。如此规模带来训练效率与稳定性的双重挑战。作者采取全栈协同设计:算法与系统在模型块与优化器、计算-通信重叠、算子优化、数据管线与网络调优等环节共同发力。

对生产而言,在长达数周的 LLM 训练中持续保持高效率(稳定性)尤为关键。许多难题只在大规模才出现,深度可观测性是关键。团队构建了一套诊断工具,监控栈深处的组件与事件、定位根因,并形成容错与拖尾缓解技术。在 12,288 GPU 上训练 175B 模型时,MegaScale 达到 55.2% MFU,相对 Megatron-LM 提升 1.34×。文中亦分享故障与拖尾的运维经验,希望从系统视角启发后续 LLM 系统研究。

1 引言

LLM 已成为 AI 的变革性技术。Scaling law 表明模型规模与训练数据规模决定能力上限;为达到 SOTA,业界在海量 token 上训练千亿甚至万亿参数模型(如 GPT-3 175B、PaLM 540B),并建设上万卡 AI 集群。

把训练扩展到数万 GPU 带来前所未有的挑战。相对 ResNet 等数十到数百卡任务,LLM 单作业独占上万卡。系统视角有两大难题:

MegaScale 遵循两条原则:算法–系统协同设计与深度可观测性。算法侧引入并行 Transformer block、滑动窗口注意力、LAMB 等;并行侧组合 DP/PP/TP/SP 并按模式最大化计算-通信重叠;数据管线预取与树状加载;集合通信初始化去全局屏障;网络侧定制拓扑、降低 ECMP 冲突、定制拥塞控制与重传超时。稳定性上构建心跳异常检测、诊断用例、优化 checkpoint/恢复,以及分布式时间线热力图与 3D 并行可视化。

部署结果:标准 175B Transformer、12,288 GPU 上 MFU 55.2%,相对开源 Megatron-LM 提升 1.34×;真实生产中数百亿参数、数万亿 token、数周训练中损失持续收敛,并在故障下修复恢复百余次。相关组件开源进展见 veScale。

2 背景

LLM 训练依赖多种并行策略跨设备分布计算。

数据并行(DP)与 ZeRO。复制模型,按数据切分;迭代末同步。ZeRO 将优化器状态、梯度、参数分片到各 DP 进程,传统 all-reduce 拆为 reduce-scatter + all-gather。常采用 ZeRO-2(分片优化器状态与梯度,不额外增加通信)。

背景与并行示意图所在原文页

图 1–2 相关示意(原文 PDF 排版页):ZeRO-2 数据并行与交错 1F1B 流水线。

流水线并行(PP)。按层切分设备,batch 再切 micro-batch。调度包括 GPipe、PipeDream 1F1B 等;Megatron-LM 常用交错 1F1B:每阶段再分虚拟阶段(model chunk),经历 warm-up、稳态 1F1B、cool-down。

张量并行(TP)与序列并行(SP)。把算子(如 Attention/MLP 中的 GEMM)切到多卡;LayerNorm/Dropout 等算力轻但激活显存大,可沿序列维做 SP 以省显存。

3D 并行组合。TP 通信开销大,宜限制在节点内;DP/PP 更适合跨节点。实践中优先构建 DP 组以减轻跨 pod 通信。

3 规模化高效训练

3.1 算法优化

并行 Transformer block。将标准串行形式

\[ y = x + \mathrm{MLP}(\mathrm{LN}(x + \mathrm{Attention}(\mathrm{LN}(x)))) \]

改为

\[ y = x + \mathrm{MLP}(\mathrm{LN}(x)) + \mathrm{Attention}(\mathrm{LN}(x)) \]

使 Attention 与 MLP 可并行,缩短计算时间;既往工作表明对千亿参数模型质量影响可接受。

滑动窗口注意力(SWA)。复杂度 \(O(s\cdot w)\),当 \(w\ll s\) 时优于全注意力 \(O(s^2)\);堆叠窗口层可保持大感受野。

LAMB 优化器。支撑更大 batch。交错 PP 下,将 1× batch 训四步改为 4× batch 训一步,可显著削减 pipeline bubble(原文给出约 87.5% 的 bubble 减少)。

TP/SP 通信重叠示意原文页

图 3:在并行 Transformer block 下,张量/序列并行的通信与 GEMM 重叠(原文页)。

3.2 3D 并行中的通信重叠

DP:前向依赖 all-gather 最新参数,反向 reduce-scatter 梯度。按 model chunk 重叠;首个 all-gather 可与数据加载预取重叠,通信时间约降为 \(1/(2\cdot vpp\_size)\);按依赖顺序优先高优先级通信。

PP:点对点 send/recv。Warm-up 阶段前向只依赖先前 recv,可将 send/recv 解耦使 send 与计算重叠;稳态阶段前后向相对邻近通信独立,可异步发射。

PP 通信重叠示意原文页

图 4:流水线并行中的通信重叠(原文页)。

TP/SP:关键路径上的 all-gather/reduce-scatter 可与 FFN 路径较大 GEMM 融合并分块流水,从而隐藏通信;反向类似。

3.3 高效算子

Attention 采用 FlashAttention-2;LayerNorm、GeLU 等细粒度核融合,减少启动开销并改善访存。

3.4 数据管线

预处理与加载常在每步开头造成 GPU 空闲。MegaScale 通过预取与树状加载等降低该空泡。

3.5 网络与集合通信

定制网络拓扑、降低 ECMP 哈希冲突、定制拥塞控制与重传超时;大规模进程组初始化采用非阻塞异步、消除全局屏障,避免上万卡启动被同步拖死。

4 容错

稳健训练工作流原文页

图 5:稳健训练工作流(原文页)。

大规模故障定位困难。MegaScale 构建稳健训练框架:心跳携带多维信息以实时异常检测与预警;诊断用例识别“毒节点”;优化 checkpoint 与恢复以缩短中断。目标是自动化故障定位与恢复,使周级训练可承受上百次修复。

5 训练排障

细粒度拖尾难以靠粗指标发现。团队开发性能分析工具,记录细粒度 CUDA 事件,生成集群热力图与统一时间线;并用 3D 并行可视化展示 rank 间数据依赖。

性能热力图

图 7:性能热力图。颜色表示运行时间;可见计算拖尾与流水线依赖导致的等待。

流水线组统一时间线

图 8:流水线组内事件统一时间线;选中事件可看到依赖关系。

大规模训练中还观察到 MFU 不一致(图 6,见原文);结合热力图与追踪可区分计算拖尾、通信异常与依赖放大。

6 经验

6.1 效率与扩展性

弱扩展 MFU 对比

图 9:Megatron-LM 与 MegaScale 的弱扩展训练性能(MFU vs GPU 数)。MegaScale 在 2240–11200 GPU 上 MFU 更稳、更高。

在 12,288 GPU、175B 设定下达到 55.2% MFU,相对 Megatron-LM 约 1.34×。消融表明算法改造、通信重叠、算子与网络优化逐项抬升 MFU。

6.2 收敛与生产稳定性

损失曲线与生产运行原文页

图 10–11 相关:微基准损失曲线与真实万卡级生产训练损失(原文页)。

微基准验证并行 Transformer、SWA、LAMB 等对收敛的影响可接受。真实生产:数百亿参数、数万亿 token、数周、>10,000 GPU,损失持续下降;期间自动修复恢复百余次。

拖尾治理后 MFU 稳定原文页

图 12:治理拖尾后 MFU 趋于稳定(原文页)。

6.3 运维故事线(摘要)

3.4 数据管线(补充)

3.5 集合通信组初始化

默认 torch.distributed 在小规模可接受,但到两千卡以上初始化极慢(原文测 2048 Ampere 约 1047s)。剖析后两点:

  1. 组初始化末尾 barrier 走单线程阻塞的 TCPStore → 换 Redis 异步后降至约 361s。
  2. 不必要的全局 barrier,复杂度近 \(O(n^2)\) → 调整初始化顺序后到 \(O(n)\)。2048 卡 <5s,万卡级 <30s。

3.6 网络性能调优

4.1–4.4 容错细节

Driver + 定制 Kubernetes:每节点 executor + 稳健训练 daemon 心跳。异常或心跳超时 → 全员暂停自检 → 驱逐故障节点并补健康节点 → 从最近 checkpoint 恢复。

6.1 性能表摘录

表 1:175B(Heads 128, Hidden 12288, Layers 96, TP8, PP8);530B(160 / 20480 / 105, TP8, PP35)。

Batch方法GPUsIter (s)吞吐 (tok/s)MFU
6144Megatron-LM122888.571466.8k41.2%
6144MegaScale122886.341984.0k55.2% (1.34×)
768Megatron-LM102411.9132.7k44.7%
768MegaScale10248.9176.9k59.0% (1.32×)

表 2 节选:175B 强扩展;训练 300B tokens 的时间等完整数据见原文。

#配置MFU(Δ)
1baseline Megatron-LM47.7%
2+ PTB52.3% (+4.6)
3+ SWA53.3% (+5.6)
4–6+ TP/PP/DP overlap59.5% (+11.8)
7+ 高效算子61.2% (+13.5)
8+ 杂项62.3% (+14.6)
9+ LAMB(BS×3)65.3% (+17.6)

表 3:256 GPU、BS=256 上 MFU 消融(网络优化对两边均开启)。

6.3 问题案例

7 相关工作

与 GPT/PaLM 等技术报告侧重模型效果不同,本文补齐万卡预训系统基建细节。微调/量化/LoRA 算力远低于预训。效率方向还包括稀疏/线性注意力、RWKV/RetNet、梯度压缩与更多通信重叠工作。诊断工具谱系含 Pingmesh、EverFlow、LossRadar、NetBouncer、Hostping 等;容错则涵盖 Retry/Replication/Checkpoint/Message Logging 与预迁移等。MegaScale 的特点是把这些能力接到 LLM 3D 并行训练的生产闭环里。

与 Megatron-LM、DeepSpeed、PaLM/GPT 训练系统等工作相比,MegaScale 强调生产万卡下的全栈效率与稳定性工程,以及面向拖尾/故障的深度观测工具链。算法并行策略与前述系统同源,差异在于规模化工程化与诊断闭环。

8 结论

MegaScale 展示了在超过一万张 GPU 上训练 LLM 的生产路径:算法–系统协同设计抬升 MFU,深度可观测性与自动化容错支撑周级稳定运行。作者希望问题表述与经验能推动后续 LLM 系统研究;组件开源见 veScale。

致谢与参考文献见原文 PDF。本译本未逐条翻译全部参考文献列表。