千卡训练是怎么跑起来的

约 8.5 分钟教学视频。以 DreamZero(Wan 14B 骨干)+ DeepSpeed ZeRO-2 为背景,讲清 torchrun 与 DeepSpeed 各自做什么,以及数据 / checkpoint 分片与千卡瓶颈。

视频文件约 13MB;也可 下载 mp4 / 字幕 vtt。

一句话。从 8 卡到 1000 卡,训练代码几乎不变;变的是启动方式、网络、数据供给和容错。

torchrun vs DeepSpeed

ZeRO-2 与一步训练

不切分时,14B 全参粗算约「参数 28GB + 梯度 28GB + Adam 168GB ≈ 224GB / 卡」。ZeRO-2 把梯度和优化器状态按 rank 切成 1/N,参数仍每卡一份。

数据与 Checkpoint 分片

千卡常见瓶颈

相关: Dyna-2 基础设施导读 (数据管线、缓存与作业韧性)。