WEBVTT

1
00:00:00.000 --> 00:00:02.681
这期讲千卡级别的训练是怎么跑起来的。

2
00:00:02.681 --> 00:00:10.128
我们以 DreamZero 这类十四B 视频骨干模型、配合 DeepSpeed ZeRO-2 为例。

3
00:00:10.478 --> 00:00:11.793
内容分三块：第一，

4
00:00:11.793 --> 00:00:16.175
torchrun 和 DeepSpeed 各自管什么；第二，

5
00:00:16.175 --> 00:00:20.411
一个训练 step 里，数据和梯度在一千张卡之间怎么流动；

6
00:00:20.411 --> 00:00:23.479
第三，checkpoint 怎么分片保存，

7
00:00:23.479 --> 00:00:25.670
以及规模变大后最容易卡在哪里。

8
00:00:26.570 --> 00:00:29.023
先看全景。最上面是集群调度层，

9
00:00:29.023 --> 00:00:33.439
比如 Slurm 或者 K8s 上的 Volcano，

10
00:00:33.439 --> 00:00:36.547
负责申请一百二十五台机器、每台八张卡，

11
00:00:36.547 --> 00:00:39.818
并且用 Gang 调度保证一次全部到位。

12
00:00:40.168 --> 00:00:42.462
第二层是 torchrun，

13
00:00:42.462 --> 00:00:46.886
负责在每台机器上拉起八个训练进程，给每个进程分配编号，

14
00:00:46.886 --> 00:00:48.688
并让它们彼此找到对方。

15
00:00:49.038 --> 00:00:52.818
第三层是 torch distributed 加 NCCL，

16
00:00:52.818 --> 00:00:55.716
建立一千个进程的通信组，机内走 NVLink，

17
00:00:55.716 --> 00:00:57.606
机间走 InfiniBand。

18
00:00:57.956 --> 00:01:00.278
最下面是 DeepSpeed，

19
00:01:00.278 --> 00:01:05.540
它在已经建好的通信组上做 ZeRO 切分、梯度同步、参数更新和存盘。

20
00:01:05.890 --> 00:01:10.834
记住这个分层：每一层只做自己的事。下面逐层展开。

21
00:01:11.734 --> 00:01:15.572
torchrun 的命令长这样：一百二十五个节点，

22
00:01:15.572 --> 00:01:19.103
每个节点八个进程，每台机器传入自己的节点编号，

23
00:01:19.103 --> 00:01:20.638
并指定一个会合地址。

24
00:01:20.988 --> 00:01:24.153
它最重要的工作是给每个进程注入环境变量：

25
00:01:24.153 --> 00:01:27.159
WORLD_SIZE 是总进程数一千；

26
00:01:27.159 --> 00:01:30.008
RANK 是全局编号零到九百九十九；

27
00:01:30.008 --> 00:01:33.173
LOCAL_RANK 是本机编号零到七，

28
00:01:33.173 --> 00:01:35.388
决定这个进程用本机第几张卡。

29
00:01:35.738 --> 00:01:39.303
然后是会合，也就是 rendezvous：

30
00:01:39.303 --> 00:01:43.207
一千个进程都连到同一个地址报到，人齐了才继续。

31
00:01:43.207 --> 00:01:47.450
只要有一台机器没起来，其他九百多个进程就会一直等。

32
00:01:47.800 --> 00:01:52.605
注意 torchrun 不切显存、不算梯度、不存模型。

33
00:01:52.605 --> 00:01:57.232
它只负责把进程拉起来，并在进程失败时按配置重新拉起。

34
00:01:58.132 --> 00:02:02.520
DeepSpeed 启动时会调用 init_distributed。

35
00:02:02.520 --> 00:02:06.134
如果 torch distributed 已经初始化好，

36
00:02:06.134 --> 00:02:09.748
它只创建一个包装层，直接复用现有通信组，不会重新建一次。

37
00:02:10.098 --> 00:02:13.387
接过通信组之后，DeepSpeed 才开始干正事：

38
00:02:13.387 --> 00:02:15.756
用 ZeRO 切分梯度和优化器状态，

39
00:02:15.756 --> 00:02:20.229
安排 reduce-scatter 和 all-gather 通信，

40
00:02:20.229 --> 00:02:22.466
处理混合精度、梯度裁剪和参数更新，

41
00:02:22.466 --> 00:02:24.834
以及分片读写 checkpoint。

42
00:02:25.184 --> 00:02:28.678
用一张表收一下：进程数量和编号归 torchrun，

43
00:02:28.678 --> 00:02:31.770
通信组归 torch distributed，

44
00:02:31.770 --> 00:02:35.264
显存切分、参数更新、分片存盘归 DeepSpeed。

45
00:02:36.164 --> 00:02:39.905
为什么需要 ZeRO？按十四B 参数估算：

46
00:02:39.905 --> 00:02:42.398
参数和梯度各约二十八 GB，

47
00:02:42.398 --> 00:02:47.386
而 Adam 优化器要存 fp32 主权重、动量和方差，

48
00:02:47.386 --> 00:02:51.483
大约一百六十八 GB。如果每张卡都存完整一份，

49
00:02:51.483 --> 00:02:55.580
总共两百多 GB，八十 GB 的卡根本装不下。

50
00:02:55.930 --> 00:02:59.949
ZeRO-2 的做法是：参数每卡仍保留一份，

51
00:02:59.949 --> 00:03:04.699
但梯度和优化器状态切成一千份，每张卡只存自己那一份。

52
00:03:04.699 --> 00:03:08.170
这样优化器状态每卡只剩零点一几 GB。

53
00:03:08.520 --> 00:03:13.484
可以想象成：一千个 rank 各自负责一千分之一的参数更新，

54
00:03:13.484 --> 00:03:14.808
谁也不用存全部。

55
00:03:15.158 --> 00:03:19.823
这是全参训练的估算。DreamZero 默认用 LoRA，

56
00:03:19.823 --> 00:03:22.718
可训练参数更少，优化器压力会小很多。

57
00:03:23.618 --> 00:03:27.348
数据怎么分？同一份数据集按 rank 切开，

58
00:03:27.348 --> 00:03:30.739
每个 rank 读不同的样本，互不重复。

59
00:03:30.739 --> 00:03:34.130
一千张卡一步就同时处理一千份不同的数据。

60
00:03:34.480 --> 00:03:36.298
DreamZero 里，

61
00:03:36.298 --> 00:03:39.480
LeRobot 轨迹会先切成 shard，

62
00:03:39.480 --> 00:03:43.117
后台线程预取整片缓存，每片先采一部分再换下一片，

63
00:03:43.117 --> 00:03:44.632
这样能减少随机读盘。

64
00:03:44.982 --> 00:03:50.364
要注意全局 batch 会随卡数一起涨。每卡一条、一千张卡，

65
00:03:50.364 --> 00:03:55.566
一步就是一千条样本。学习率和 warmup 往往要重新调。

66
00:03:55.916 --> 00:04:01.028
更大的问题是 I/O：一千个进程同时打存储，形成读请求洪峰。

67
00:04:01.028 --> 00:04:06.140
同步训练里，任何一个 rank 读得慢，其他所有卡都在等它。

68
00:04:07.040 --> 00:04:09.448
把一个 step 串起来。第一步，

69
00:04:09.448 --> 00:04:12.848
每个 rank 从自己的数据分片取 batch。

70
00:04:13.198 --> 00:04:18.094
第二步，各卡独立做前向和反向，得到自己的一份完整梯度。

71
00:04:18.444 --> 00:04:21.454
第三步是 reduce-scatter：

72
00:04:21.454 --> 00:04:24.614
梯度在一千张卡之间求平均，但结果是分散的，

73
00:04:24.614 --> 00:04:27.924
每张卡只拿到自己负责那一千分之一的平均梯度。

74
00:04:28.274 --> 00:04:31.985
第四步，每张卡用自己的那份 Adam 状态，

75
00:04:31.985 --> 00:04:34.178
只更新自己负责的参数片段。

76
00:04:34.528 --> 00:04:39.173
第五步是 all-gather：把更新后的参数片段收集回来，

77
00:04:39.173 --> 00:04:42.424
每张卡又拥有完整的新参数，可以开始下一步。

78
00:04:42.774 --> 00:04:47.258
第三步和第五步都是跨机通信。机内走 NVLink 很快，

79
00:04:47.258 --> 00:04:50.300
机间走 InfiniBand 慢得多，

80
00:04:50.300 --> 00:04:52.542
这是千卡训练的主要开销之一。

81
00:04:53.442 --> 00:04:56.655
看 checkpoint。ZeRO-2 下，

82
00:04:56.655 --> 00:04:59.867
DeepSpeed 存盘时模型参数只存一份，

83
00:04:59.867 --> 00:05:03.226
而优化器状态按 rank 存成一千个分片文件，

84
00:05:03.226 --> 00:05:05.562
每个文件名带着 rank 编号。

85
00:05:05.912 --> 00:05:07.154
这样做的原因是：

86
00:05:07.154 --> 00:05:11.500
每个 rank 本来就只持有自己那千分之一的优化器状态，

87
00:05:11.500 --> 00:05:15.536
一千个进程可以并行各写一小片，不用先汇总到一张卡上。

88
00:05:15.886 --> 00:05:19.558
恢复时，如果卡数不变，每个 rank 读回自己那一片；

89
00:05:19.558 --> 00:05:20.510
如果卡数变了，

90
00:05:20.510 --> 00:05:24.454
要用 universal checkpoint 重新切分；

91
00:05:24.454 --> 00:05:25.678
如果只要推理权重，

92
00:05:25.678 --> 00:05:29.350
可以用 zero_to_fp32 脚本合并成一个文件。

93
00:05:29.700 --> 00:05:33.791
代价是写洪峰：一千个文件同时打共享存储，

94
00:05:33.791 --> 00:05:39.929
一次存盘可能让训练停几分钟。常见做法是降低存盘频率、异步写，

95
00:05:39.929 --> 00:05:42.588
或者先写本地盘再后台上传。

96
00:05:43.488 --> 00:05:49.215
最后看瓶颈。第一个是启动会合：一千个进程要全部报到才能开始，

97
00:05:49.215 --> 00:05:51.888
任何一台机器慢，全体都在等。

98
00:05:52.238 --> 00:05:57.389
第二个是数据 I/O：一千个进程同时读存储，GPU 等数据，

99
00:05:57.389 --> 00:05:58.934
利用率就会掉下来。

100
00:05:59.284 --> 00:06:04.125
第三个是跨机通信：梯度和参数同步要走 InfiniBand，

101
00:06:04.125 --> 00:06:06.868
卡越多，通信在每一步里的占比越高。

102
00:06:07.218 --> 00:06:11.544
第四个是慢节点：同步训练按最慢的那个 rank 走，

103
00:06:11.544 --> 00:06:14.706
一张降频或者网络差的卡，就能拖慢全局。

104
00:06:15.056 --> 00:06:18.585
第五个是故障：同步训练里任何一个 rank 挂掉，

105
00:06:18.585 --> 00:06:19.855
整个作业都会停下，

106
00:06:19.855 --> 00:06:23.384
只能回滚到上一个 checkpoint 重新开始。

107
00:06:23.734 --> 00:06:29.398
第六个是存盘洪峰：一千个文件同时写共享存储，训练被迫暂停。

108
00:06:30.298 --> 00:06:34.850
故障有多常见？Meta 在 Llama 3 报告里披露：

109
00:06:34.850 --> 00:06:38.426
大约一万六千张 H100，五十四天快照期内，

110
00:06:38.426 --> 00:06:42.490
发生了四百一十九次意外中断，平均大约每三小时一次。

111
00:06:42.840 --> 00:06:48.186
规律是：单张卡很可靠，但卡数乘以时长，故障就变成常态。

112
00:06:48.186 --> 00:06:53.136
千卡跑几周，几乎一定会遇到坏卡、断网或者进程崩溃。

113
00:06:53.486 --> 00:06:57.264
所以千卡训练的设计目标变了：不是追求不出错，

114
00:06:57.264 --> 00:07:02.244
而是出错后能自动恢复。开跑前先给节点体检，出错后自动重启，

115
00:07:02.244 --> 00:07:05.678
从最近的 checkpoint 接着训。

116
00:07:06.578 --> 00:07:12.233
对应的优化手段。启动会合：用 Gang 调度一次性分配机器，

117
00:07:12.233 --> 00:07:15.626
开跑前做健康检查，把坏节点提前剔除。

118
00:07:15.976 --> 00:07:19.848
数据 I/O：在节点 NVMe 上做缓存，

119
00:07:19.848 --> 00:07:23.536
按训练清单提前预热，配合数据分片和预取。

120
00:07:23.886 --> 00:07:28.782
跨机通信：拓扑感知地放置进程，让通信和计算重叠，

121
00:07:28.782 --> 00:07:31.638
大规模时优先在节点内部分片。

122
00:07:31.988 --> 00:07:35.411
慢节点：监控每个 rank 的 step 时间，

123
00:07:35.411 --> 00:07:36.980
自动摘除拖后腿的节点。

124
00:07:37.330 --> 00:07:40.875
故障：torchrun 弹性重启加上调度器重新排队，

125
00:07:40.875 --> 00:07:43.330
从 checkpoint 自动续训。

126
00:07:43.680 --> 00:07:48.345
存盘洪峰：用异步 checkpoint，先写本地盘再上传，

127
00:07:48.345 --> 00:07:49.632
并适当降低频率。

128
00:07:50.532 --> 00:07:51.425
收束一下。

129
00:07:51.425 --> 00:07:56.424
torchrun 负责起一千个进程、分配编号、组织会合，

130
00:07:56.424 --> 00:07:57.852
失败时可以重拉。

131
00:07:58.202 --> 00:08:01.073
DeepSpeed 接过已有通信组，

132
00:08:01.073 --> 00:08:05.858
用 ZeRO 切分梯度和优化器状态，负责参数更新和分片存盘。

133
00:08:06.208 --> 00:08:10.672
数据按 rank 分片读，优化器状态按 rank 分片存。

134
00:08:11.022 --> 00:08:16.317
瓶颈有六个：会合、I/O、通信、慢节点、故障和存盘，

135
00:08:16.317 --> 00:08:17.742
卡越多越明显。

136
00:08:18.092 --> 00:08:22.817
最后记住一句话：从八卡到一千卡，训练代码几乎不变；

137
00:08:22.817 --> 00:08:27.164
真正变的是启动方式、网络、数据供给和容错能力。

