千卡训练是怎么跑起来的
约 8.5 分钟教学视频。以 DreamZero(Wan 14B 骨干)+ DeepSpeed ZeRO-2 为背景,讲清 torchrun 与 DeepSpeed 各自做什么,以及数据 / checkpoint 分片与千卡瓶颈。
视频文件约 13MB;也可 下载 mp4 / 字幕 vtt。
一句话。从 8 卡到 1000 卡,训练代码几乎不变;变的是启动方式、网络、数据供给和容错。
torchrun vs DeepSpeed
-
torchrun:按节点拉起进程,注入
WORLD_SIZE/RANK/LOCAL_RANK,组织 rendezvous;不切显存、不算梯度、不存模型。 - torch.distributed + NCCL:建立通信组(机内 NVLink,机间 InfiniBand)。
- DeepSpeed:若进程组已初始化则直接复用,再做 ZeRO 切分、reduce-scatter / all-gather、更新与分片 checkpoint。
ZeRO-2 与一步训练
不切分时,14B 全参粗算约「参数 28GB + 梯度 28GB + Adam 168GB ≈ 224GB / 卡」。ZeRO-2 把梯度和优化器状态按 rank 切成 1/N,参数仍每卡一份。
- 各卡独立前向 / 反向 → 各自完整梯度
- Reduce-Scatter:梯度求平均并切分,每卡只留自己负责的 1/N
- 局部更新:用本卡 Adam 分片只改那一块参数
- All-Gather:全体 rank 经 NCCL 互换分片,每卡重新拿到完整新参数
数据与 Checkpoint 分片
- 数据:按 rank 切不相交子集;全局 batch ≈ 每卡 batch × WORLD_SIZE × 梯度累积
-
Checkpoint:模型参数常存一份;优化器状态写成
zero_pp_rank_*_optim_states.pt分片;合并可用zero_to_fp32.py
千卡常见瓶颈
- 启动会合、数据 I/O 洪峰、跨机通信占比升高
- 慢节点拖全局、任一 rank 故障整作业停、存盘写洪峰
- 规模感:Llama 3 预训练约 16k H100,54 天快照内约 419 次意外中断——设计目标是「出错后自动恢复」,而不是「永不失败」
相关: Dyna-2 基础设施导读 (数据管线、缓存与作业韧性)。