万卡集群训练大模型

一个 step 里的数据流、瓶颈与软硬件算法协同优化(硬件 · 加载 · TP/PP · 梯度/Adam)。

草稿 v0.5:新增第 2 章「训练 pipeline 的硬件路径」;第 4 章为「训练 pipeline 详解」;数字以公开论文为准,标注「示意」的为说明性数值,待逐节打磨。

万卡集群训练大模型:
一个 step 里的数据流、瓶颈与软硬件算法协同优化

把一万张 GPU 变成「一台计算机」,难点不在于让每张卡都很快,而在于让最慢的那一环不拖垮整个集群。本文沿着一个训练 step 的生命周期:调度 → 数据 → 计算 → 通信 → 梯度更新 → checkpoint,逐段看数据在 GPU、内存、I/O 和网络之间怎么流转、卡在哪里,以及硬件、软件、算法三层分别能做什么。

16,384
H100:Llama 3 405B 预训练规模
3.8×10²⁵
训练总 FLOPs(≈ 6·N·D)
~3 h
54 天内 419 次非计划中断,平均间隔
38–43%
BF16 MFU(Llama 3);MegaScale 1.2 万卡达 55.2%

0摘要:万卡训练在拼什么

同步数据并行训练中,每个 step 都是一次全局同步:step 时间 = 最慢的 rank 的时间。因此万卡训练的有效吞吐可以拆成一个乘积:

有效训练吞吐 = 卡数 × 单卡峰值 × MFU(计算 / 通信 / 气泡 / 数据等待)× 有效训练时间占比(故障、重启、checkpoint 开销)

前一项由硬件决定,后两项是系统工程。本文要回答的就是:在这两个比例上,各环节的损失从哪里来,又分别由哪一层来补。

  • 五个环节:资源调度与启动、数据加载、GPU 计算与并行通信、梯度同步与优化器、checkpoint 与容错。
  • 三类资源:GPU(算力 / HBM)、主机内存与 I/O(DRAM / PCIe / 存储)、网络(NVLink / InfiniBand 或 RoCE)。
  • 三层优化:硬件拓扑与互连,软件调度、运行时、通信库,算法并行策略、精度、调度算法。
图 0 全文总图:横轴是一个 step 生命周期里的五个环节,纵轴是三层优化(硬件定上限,软件把上限兑现,算法改变问题本身)。每个色块的颜色表示它主要优化公式里的哪一项:蓝、橙、绿三类提升 MFU,紫、青两类提升有效训练时间占比。点击上方图例可只看某一类,点击色块可跳到对应章节。

1硬件架构:一个万卡集群长什么样

在看数据怎么流之前,先把「舞台」搭出来。公开资料里的万卡集群(Meta Llama 3 的 24K H100、字节 MegaScale、阿里 HPN、xAI Colossus、DeepSeek 萤火二号、NVIDIA DGX SuperPOD 参考架构)细节各不相同,但骨架高度一致:8 卡计算节点 × 上千台,用四张物理上分离的网络连起来,旁边挂一套独立的存储集群,再往外是冷数据所在的对象存储。本章把这些公开设计综合成一张通用图,后文所有环节都在这张图上发生。

图偏密时可全屏;连线只画代表链路,不是全端口连线。
计算网络(橙)· IB NDR / RoCEv2 · 每卡 400 Gb/s(节点合计 8×400G = 3.2 Tb/s) 存储网络(绿)· IB / 以太网 · 每节点常接 2 条链路,单条 200 或 400 Gb/s 前端网络(蓝)· 以太网 · 每节点 25–200 Gb/s 带外管理网(紫,虚线)· 独立 1 GbE · 每口 1 Gb/s
图 H1 万卡集群的通用硬件架构(综合 DGX SuperPOD、Llama 3、MegaScale、HPN 等,示意)。四种网络用颜色区分;计算网上下层之间只画少量代表上联,避免线网过密。点「⛶ 放大查看」全屏阅读。SU 内「同号 GPU 如何接到 Leaf」见下方图 H1b。

展开:一个 SU 里 GPU 怎么接到 Leaf(rail-optimized)

图 H1 里每个 SU 顶上那一排 R0–R7 就是第 1 层 Leaf(也叫 rail leaf / Rx)。接法不是「整节点随便插一台交换机」,而是 rail-optimized:所有节点的同号 GPU 接到同一台 Leaf。

示意画 4 个节点代表 32 个;真实每台 Leaf 有 32 口下行接满本 SU 全部节点的同号 NIC。
Rail 0:各节点 GPU0 → Leaf R0 Rail 1:GPU1 → R1 Rail 2:GPU2 → R2 Rail 3:GPU3 → R3 … 同理到 Rail 7
图 H1b 单个 SU(32 节点 × 8 卡)内的 Leaf 接线。竖直同色线 = 同一条 rail:Node0–Node31 的 GPUi 都接到 Leaf Ri(400 Gb/s)。因此同号 GPU 之间的 NCCL 可先在同一台 Leaf 上完成,不必先爬 Spine。每台 Leaf 上行再连 Spine;图中上行只画示意。

计算网络三层交换机的典型硬件参数(H100 / 400G 代;IB 与 RoCE 两条产品线口型相同,协议不同):

层图中记号典型交换机端口与线速怎么用口
第 1 层 Leaf R0–R7
(rail leaf / Rx)
IB:NVIDIA Quantum-2 QM9700
以太 RoCE:NVIDIA Spectrum-4(如 SN5600)或同级 25.6T 盒式交换机
64 × 400 Gb/s
整机交换容量 25.6 Tb/s
每 SU 8 台(一 rail 一台)。无收敛时常见 32 口下行接 32 个节点的同号 NIC,32 口上行接 Spine。只在这一层直连 GPU/NIC。
第 2 层 Spine Spine 与 Leaf 同款 64×400G 盒式机(QM9700 / Spectrum-4 类) 64 × 400 Gb/s
25.6 Tb/s
不接 GPU。端口分给:下层各 Leaf 的上联 + 上层 Core。把多个 SU、8 个 rail 汇聚在同一 Pod 内。
第 3 层 Core Core 仍常用同款 64 × 400G;规模极大时可用更多台或更大端口交换机堆叠 64 × 400 Gb/s
25.6 Tb/s / 台
只接 Spine,做跨 Pod 骨干。两层 Fat-tree 够用时可以没有 Core。跨 Pod 常有收敛(如 Llama 3 的 1:7)。
读表要点:三层往往是「同一种 64 口 400G 盒子」,差别在接线角色,不在盒型。口速 400G 对齐每张 GPU 的一张 ConnectX-7;单机 64×400G = 25.6 Tb/s。B200 / 800G 代则换成 Quantum-X800 / Spectrum-X 800G 等(口型升到 800 Gb/s),拓扑角色不变。RoCE 集群里盒名换成以太网交换机,但「64 口 × 400G、Leaf / Spine / Core」结构同样适用。

计算节点内部:GPU、CPU、内存、NIC、NVMe 各在哪

以公开规格最完整的 DGX H100(HGX H100 8 卡板的 OEM 服务器结构基本相同)为例。关键不在于 CPU 有多少核,而在于谁和谁挂在同一个 PCIe 交换芯片下:GPU i 和它的计算网卡 NIC i 共享一个 PCIe 交换芯片,RDMA 数据直接从 HBM 到网卡,不经过 CPU 和主机内存。

计算 NIC(橙)· 400 Gb/s / 卡 → Rail 存储 NIC(绿)· 最高 400 Gb/s / 口 前端 NIC 口(蓝)· 25–200 Gb/s(常与存储 NIC 共卡) BMC 带外(紫)· 1 Gb/s NVLink / NVSwitch · 900 GB/s / 卡(双向)
图 H2 8 卡节点内部连接(依据 DGX H100 公开规格,PCIe 拓扑为示意)。网卡按所属网络着色并标注带宽:橙=计算网、绿=存储网、蓝=前端网、紫=带外。NVSwitch 承载节点内 900 GB/s scale-up;GPU 与同号计算 NIC 共 PCIe 交换芯片,支持 GPUDirect RDMA。
UPI 与 PCIe 交换芯片各管什么?
  • UPI(Ultra Path Interconnect)是两颗 CPU 插座之间的互连,不经过 GPU。一边 CPU 要访问另一边挂的内存 / 设备时走这里。详见附录 A。
  • PCIe Gen5 交换芯片才是 CPU ↔ GPU / NIC / NVMe 的枢纽。H100 代常见为每条 x16 链路约 64 GB/s / 方向(≈ 128 GB/s 双向)。CPU↔GPU 的 H2D / D2H,以及下面说的「同组 GPU↔计算 NIC」,都走 PCIe。
  • 「同组」=挂在同一颗 PCIe 交换芯片下的那对设备。图里每颗交换芯片下挂 2 张 GPU + 2 张计算 NIC:例如交换芯片 0 上是 GPU0/1 与 NIC0/1。训练时约定 GPUᵢ 主要用 NICᵢ 出计算网(接到 Rail Rᵢ)。这条路上的数据可以做 GPUDirect RDMA:从 GPU 的 HBM 经 PCIe 交换芯片直达 NIC,再上 IB/RoCE,不经过 CPU、也不进主机 DDR。
  • 不是 8 卡互连的主干:同节点 GPU ↔ GPU 走底下的 NVLink / NVSwitch(~900 GB/s),比 PCIe 高一个数量级。
  • 「每颗 PCIe 交换芯片 + NVMe ×2」不是「这两张 GPU 私有两块盘」,而是整机 8 块 U.2 数据盘均匀挂在 4 颗交换芯片上(每颗 2 块),和同芯片上的 2 GPU + 2 NIC 共享 PCIe 域。OS 仍在 M.2 系统盘。这样分散是为了 PCIe 带宽与 GPUDirect Storage 路径更均衡,见下。
本地 NVMe 为什么按「每交换芯片 ×2」铺? DGX H100 公开配置是 8 × 3.84 TB U.2 数据盘 + 2 × M.2 系统盘。硬件上把 8 块数据盘分到 4 条 PCIe 域(每域 2 块),而不是 8 块全挤在同一颗 CPU root 下。好处:① 多盘并行读时 PCIe 带宽不集中打爆单条上行;② 与同域 GPU 做 GPUDirect Storage 时路径更短;③ 缓存 / shuffle / 本地 checkpoint 暂存可以打满整机几十 GB/s 级聚合。软件上这些盘通常组成一块大缓存或并行文件系统客户端缓存,并不绑定「GPU0/1 只能用盘 A/B」。
部件规格(DGX H100)在训练中干什么
GPU × 8H100 SXM 80 GB HBM3,3.35 TB/s;功耗 700 W前向 / 反向 / 优化器;HBM 存放参数分片、激活、优化器状态
NVSwitch × 4每 GPU 18 条 NVLink4,合计 900 GB/s(双向)节点内 TP、EP、CP 的 all-reduce / all-to-all;PXN 转发
CPU × 2Xeon Platinum 8480C,共 112 核DataLoader worker、NCCL proxy 线程、launcher、checkpoint 序列化
主机内存2 TB DDR5pinned 数据缓冲、内存 checkpoint 快照、页缓存
计算 NIC × 8ConnectX-7 单口 400 Gb/s,经 4 个 OSFP 双口笼子引出GPU i ↔ rail i,GPUDirect RDMA
存储 / 带内 NIC2 张双口 ConnectX-7(每口最高 400 Gb/s)读训练数据、写 checkpoint、拉镜像;实务上常只启用其中若干口连存储网 / 前端网
本地 NVMe8 × 3.84 TB U.2(约 30 TB,数据盘)+ 2 × 1.92 TB M.2(系统盘)数据缓存、镜像缓存、本地 checkpoint 暂存
BMC1 GbE 管理口带外上下电、传感器、固件
整机功耗最大约 10.2 kW决定每机柜放几台、要不要液冷
GB200 NVL72 把节点边界推到了机柜:一个机柜 18 个计算托盘(每托盘 2 颗 Grace CPU + 4 颗 B200)和 9 个 NVLink Switch 托盘,72 张 GPU 处在同一个 NVLink 域里(每卡 1.8 TB/s,合计约 130 TB/s)。CPU 与 GPU 之间不再走 PCIe,而是 NVLink-C2C(900 GB/s),每颗 Grace 带 480 GB LPDDR5X。整柜约 120 kW、必须液冷。对训练的影响是:原本只能放在 8 卡内的 TP / EP / CP,现在可以铺到 72 卡。

GPU 通信:不同范围走哪条路、多快

集合通信的范围越大,跳数越多、单卡有效带宽越低。本节把路径动画与范围对照表合在一起:先看数据包怎么走,再对照设备、带宽与适合放的并行类型(图 H1 橙色计算网;节点内为 NVLink)。

NVLink ~900 GB/s(H100 双向) 计算 NIC / Rail 400 Gb/s ≈ 50 GB/s/卡 经 Spine(跨 SU) 经 Core(跨 Pod)· 常有收敛,有效带宽↓ 数据包沿高亮路径移动
图 H1c GPU 通信五类路径。① 同节点 NVSwitch;② 同 SU 同号只经 Leaf;③ 同 SU 跨号 PXN 后经目标 rail;④ 跨 SU 同 Pod 经 Spine;⑤ 跨 Pod 再经 Core。速率为 H100 代量级。

同一节内的文字对照(节点内 NVLink;其余为橙色计算网):

通信范围典型路径经过哪些设备单卡带宽量级训练里通常放什么
同一节点内
8 卡(或 NVL72 同柜)
GPUᵢ ─NVLink→ NVSwitch ─NVLink→ GPUⱼ 只经 NVSwitch,不经 NIC / Leaf ~900 GB/s(H100)
~1.8 TB/s(B200 NVL)
通信最重的 TP / EP / CP;PXN 转发也走这里
同一 SU、不同节点
~32 节点 / 256 卡
同号:GPUᵢ→NICᵢ→Leaf Rᵢ→对端
跨号(默认 PXN):先本机 NVLink 转到同号卡,再出对应 Rail
NIC + 一台 rail Leaf(Rᵢ);默认不经 Spine 400 Gb/s ≈ 50 GB/s/卡 同 SU 内的 DP 分片、较小跨节点 PP;同号 GPU 一跳可达
不同 SU、同一 Pod …→ Leaf Rᵢ → Spine → Leaf Rᵢ → …
(跨号仍可先 PXN 对齐 rail)
NIC + Leaf + Spine;仍不经 Core 仍受 400 Gb/s/卡限制,但竞争与尾延迟上升 Pod 内 PP、较大规模 DP;尽量把重通信留在 SU / NVLink 域内
不同 Pod / 整集群 …→ Leaf → Spine → Core → Spine → Leaf → … 再经 Core(跨 Pod 骨干);顶层常有收敛(如 Llama 3 跨 Pod 1:7) 有效带宽常低于线速,易成掉队者来源 只放最轻的 DP all-reduce;TP / EP / PP 不要跨 Pod
更大:跨机房 / 跨地域 一般不跑同步训练 step 的集合通信 走蓝色前端网 / DCI,不是橙色计算网 远低于 IB/RoCE 机房内带宽 数据摄入、checkpoint 复制、多机房异步;同步万卡作业通常不跨此边界
一句话:节点内靠 NVLink;SU 内靠 rail Leaf 一跳;跨 SU 上 Spine;跨 Pod 再上 Core;再往外就离开计算网络了。调度与并行策略的目标,就是把通信量从下往上「压」进更小的范围。

四张网络:为什么要物理分开

同一台计算节点上通常插着 3 类网卡,分别连到不同的网络。分开的根本原因是流量特征完全不同:集合通信是同步、突发、对尾延迟极度敏感的 all-reduce / all-to-all,任何一点别的流量混进来都会拖慢整个 step;而读数据、拉镜像、写日志是持续的后台流量。

网络连谁每节点带宽(H100 代)典型技术与拓扑
计算网络
(后端 / scale-out)
每张 GPU 一张专用 NIC,连到对应 rail leaf8 × 400 Gb/s = 3.2 Tb/s
(B200/GB300 代升到 8 × 800G)
InfiniBand NDR 或 RoCEv2 以太网;rail-optimized 两到三层 Fat-tree(Clos),无收敛或低收敛;GPUDirect RDMA(名词见附录 A)
存储网络节点上通常 1–2 张 NIC,各出 1 条(或双口卡出 2 条)链路 ↔ 存储集群常见:2 条 × 200 Gb/s,或更高档 2 条 × 400 Gb/s(不是「2×200 再乘到 400」)独立的 IB / 以太网 fabric;双上联为了带宽叠加 + 冗余。部分设计(如 DeepSeek 萤火二号)与计算网合并以省成本
前端网络
(带内管理)
节点 ↔ 登录 / 调度节点、镜像仓库、对象存储、互联网25–200 Gb/s普通数据中心以太网;有时占用存储双口 NIC 的另一个口,此时「2 条」里一条走存储、一条走前端
带外管理网BMC、PDU、交换机管理口1 Gb/s独立的低速以太网;节点宕机时仍能远程上电、看日志、刷固件

从 8 卡到一万卡:四级规模

层级规模怎么连设计要点
NVLink 域8 卡(HGX)
72 卡(NVL72)
NVSwitch,900 GB/s – 1.8 TB/s 每卡带宽比 scale-out 网络高约一个数量级,放通信最重的 TP / EP
SU / 机柜组32 节点 · 256 卡8 台 rail leaf,每台 32 口下行、32 口上行(64 口 400G 交换机)同 SU 同号 GPU 一跳可达;PXN 把跨号流量也变成一跳
Pod / 集群网段2K – 15K 卡spine 层把多个 SU、8 个 rail 互连,通常全对分带宽Llama 3:每 Pod 3,072 卡、无收敛;阿里 HPN:双平面两层网络单 Pod 1.5 万卡
整个集群1 万 – 10 万卡core / aggregation 层把多个 Pod 连起来常有收敛(Llama 3 跨 Pod 为 1:7),因此调度要把 TP / PP 放在 Pod 内,只让 DP 流量跨 Pod
第 3 层 Core 是什么?Leaf(第 1 层)直接接 GPU 的网卡;Spine(第 2 层)把同一 Pod / 多个 SU 里的 Leaf 互连;当卡数再多、一个两层网络装不下时,就要再加一层 Core:它不接任何 GPU,只负责把各 Spine 连起来,让不同 Pod 之间也能通信。两层够用时根本没有 Core。图 H1 里的 Core 就是这一层。计算网络常用的两种线速技术——InfiniBand NDR 与 RoCEv2——是「用什么协议跑在这些交换机上」的问题,与「有几层」正交。详细解释见附录 A。

交互:一万张卡要多少交换机和光模块?

无收敛 Fat-tree 有个简单的容量公式:用 k 口交换机,两层最多接 k²/2 个端点,三层最多 k³/4 个。64 口 400G 交换机(25.6 Tb/s 芯片)两层只能接 2,048 张卡,所以单平面的万卡网络必须三层(多出来的那一层就是上面说的 Core)。一个常见的绕法是多平面:8 个 rail 各自成为独立的网络平面,每个平面只需接 N/8 个端点,跨 rail 的流量交给节点内的 NVLink(PXN)。改下面的参数可以看到层数、交换机数和光模块数怎么变。

图 H3 Fat-tree 交换机与光模块估算(理想无收敛 Clos,按每卡 1 个端口、每条链路 2 个光模块计;机柜内用铜缆时光模块会更少)。默认值 16,384 卡、64 口交换机:单平面需要三层约 1,280 台交换机、约 9.8 万个光模块;勾选多平面后变成两层,约 768 台交换机、约 6.6 万个光模块。这就是多平面 / rail-only 设计流行的原因。

存储服务放在哪

存储是分层的,越靠近 GPU 越快、越小、越贵。下表从 GPU 往外数,标出每一层物理上在哪和靠什么连;第 2 章的路径动画和第 3 章的 I/O 图会再展开数据在这些层之间怎么搬。

层物理位置连接方式容量 / 带宽量级公开案例
HBMGPU 封装内片上80–192 GB/卡;3–8 TB/sH100 80 GB,B200 192 GB
主机内存计算节点主板PCIe Gen5(x86)或 NVLink-C2C(Grace)1–2 TB/节点DGX H100 2 TB DDR5;Grace 480 GB LPDDR5X
本地 NVMe计算节点内PCIe约 30 TB/节点;数十 GB/sDGX H100 8 × 3.84 TB
热层存储集群同一机房的独立存储机柜存储网络(或与计算网合并)PB 级;聚合 TB/sMeta Tectonic:7,500 台服务器、240 PB,持续 2 TB/s、峰值 7 TB/s;DeepSeek 3FS:180 个存储节点(每台 16 块 NVMe、2 × 200G IB),读约 6.6 TiB/s
冷层对象存储别的楼 / 别的地域前端网络、数据中心互联EB 级;单流慢、总吞吐受出口带宽限制S3 / OSS / GCS;原始语料、视频库、长期 checkpoint

公开万卡集群对照

集群规模节点 / 机柜计算网络拓扑要点存储
Meta Llama 3 训练集群24K H100(405B 用 16K)Grand Teton 8 卡,每柜 2 台共 16 卡RoCE 400G(另有一套同规模 IB 集群)ToR → Cluster Switch(Pod 3,072 卡,无收敛)→ Aggregation(8 个 Pod,1:7 收敛)Tectonic,240 PB
字节 MegaScale1.2 万卡以上8 卡节点以太网 RoCE,每卡 400G三层 Clos,25.6T 交换芯片,每层上下行 1:1(32 口下、32 口上)HDFS 等
阿里 HPN单 Pod 1.5 万卡8 卡节点,每卡 2 × 200G以太网 RoCE双上联(每卡连两台 ToR)+ 双平面,两层即达万卡;前后端网络分离独立前端存储网
xAI Colossus10 万 H100(一期)液冷 8 卡服务器,每柜 64 卡Spectrum-X 以太网,每卡 400G BlueField-3 SuperNIC超大规模单一 RDMA 以太网未详细公开
DeepSeek 萤火二号约 1 万 PCIe A1008 卡节点,1 张 200G IBInfiniBand两层 Fat-tree,计算与存储同网,以降低成本3FS,读约 6.6 TiB/s
NVIDIA DGX SuperPOD(H100 参考架构)按 SU 扩展,每 SU 256 卡DGX H100InfiniBand NDR 400Grail-optimized leaf / spine / core;计算、存储、带内、带外四网分离认证的并行文件系统

机房:电和冷却也是硬约束

按 DGX H100 最大 10.2 kW 估算,一万张 H100 约 1,250 台节点,仅计算节点峰值就约 12.8 MW;加上网络、存储和制冷(PUE 1.1–1.4),整栋机房通常按 15–25 MW 规划(估算)。风冷机柜一般只能放 2–4 台 8 卡服务器,所以万卡集群往往铺满数百个机柜,计算网络的大量链路因此必须走光纤;GB200 NVL72 这类 120 kW 机柜则必须液冷。机房的物理排布反过来决定了 SU 怎么划分、哪些链路能用铜缆,也间接决定了 §4.1 调度时的「拓扑感知」要感知什么。

带着这张图往下读:第 2 章把 checkpoint 加载、训练数据加载等 pipeline 逐跳放到这张图上走一遍;第 3 章看一个 step 的数据怎么在这些部件之间流转;GPU 计算发生在 HBM 和 Tensor Core 里,TP / EP 走 NVSwitch,DP / PP 走 rail 网络和 spine,训练数据从对象存储经热层、本地 NVMe、主机内存进入 HBM,checkpoint 沿反方向写回。

2训练 pipeline 的硬件路径:数据在第 1 章的图上怎么走

第 1 章讲清了部件、链路和速率。本章把训练里的几条 pipeline 一条条放到这张图上走一遍:每条 pipeline 依次经过哪些部件、每一跳走哪种链路、多快、瓶颈卡在哪一跳。先从 checkpoint 加载开始,训练数据加载、前反向集合通信、checkpoint 写回会按同样的方式逐节补上。

2.1Checkpoint 加载:从冷存储到 GPU HBM

续训、故障重启、换并行配置后恢复,都要把 checkpoint 从存储搬回每张卡的 HBM。下面用一个具体配置算账,再用动画逐跳展示路径。

假设取值(示意,按 Llama 3 405B 量级)
规模与并行16,384 张 H100 = 2,048 节点;TP=8(节点内)× PP=16 × DP=128。一个节点 = 一个 PP stage 的完整 TP 组,同一 stage 有 128 个 DP 副本,分布在 128 个节点上
checkpoint 内容BF16 权重 ≈ 0.81 TB;FP32 主权重 + Adam m / v ≈ 4.86 TB;合计 ≈ 5.7 TB(梯度不存)
每节点要装进 HBM 的量
(checkpoint 加载)
权重:0.81 TB / 16 stage ≈ 50.6 GB(每卡 6.3 GB),128 个 DP 副本完全相同;优化器状态按分布式优化器(ZeRO-1)切到各 DP rank:4.86 TB / 2,048 ≈ 2.4 GB(每卡 ≈ 0.3 GB),每个节点都不一样。加载合计每卡 ≈ 6.6 GB(梯度不进 checkpoint)
训练时每卡 HBM
(H100 80 GB,示意)
见下表:模型状态常驻约 13 GB;其余主要是激活、通信缓冲与碎片。长序列时激活常占满剩余几十 GB
存储侧热层并行 FS 聚合读 ≈ 2 TB/s(全集群共享);每节点存储 NIC 2 × 200 Gb/s ≈ 50 GB/s
每卡 HBM 占用量级怎么除出来说明
BF16 权重 W≈ 6.3 GB0.81 TB ÷ (TP×PP) = ÷128DP 间复制,不随 DP 变小;checkpoint 要加载
BF16 梯度 ∂W≈ 6.3 GB与本卡权重同形训练中产生,不进 checkpoint;分布式优化器 reduce-scatter 后可再压到 ≈ 6.3/DP,峰值仍常按满额计
FP32 主权重 + Adam m/v≈ 0.3 GB4.86 TB ÷ 16,384 卡ZeRO-1 按 DP 切开;checkpoint 要加载
模型状态小计≈ 13 GB6.3+6.3+0.3相对 80 GB 只占一小块;无 ZeRO 时优化器会暴涨到每卡数 GB~数十 GB
激活(含重计算策略)≈ 30–55 GB随 micro-batch、序列长、checkpoint 粒度变前向要留给反向的中间值;selective recomputation / FlashAttention 用来压这项。405B 长序列时通常是显存第一大头
通信 / CUDA / 碎片≈ 5–15 GB—NCCL 缓冲、CUDA context、allocator 碎片、临时 workspace
合计(训练稳态)≈ 55–75 GB / 80 GB—checkpoint 加载只带回 ≈6.6 GB;开训后梯度 + 激活 + 缓冲把卡基本填满
和「加载量」对一下:续训时从存储读进每卡的是权重 6.3 GB + 优化器 0.3 GB ≈ 6.6 GB。梯度是算出来的,激活是每个 step 现做现扔的——所以 HBM 占用 ≫ checkpoint 加载量。同一章后文 PP 专讲若用 PP=32、且优化器不按 DP 切,每卡状态数字会不同,以本表的 TP=8×PP=16×DP=128 + ZeRO-1 为准。

动画:16,384 张卡怎么摆——哪些在同一节点、同一 SU、同一 Pod

按第 1 章的规模层级示意:1 SU = 32 节点 = 256 卡;1 Pod = 8 SU = 2,048 卡(64 口交换机两层 Fat-tree 的上限 k²/2);全集群 8 Pod。放置规则是「越重的通信放得越近」:TP 锁在节点内,一条完整 PP 流水线(16 节点)锁在 SU 内,DP 向外铺。给定副本号 r 和 stage 号 k:节点号 = 16r + k,SU = ⌊r/2⌋,Pod = ⌊r/16⌋。每一步会标明这条路径上传的是什么:TP 传激活/梯度片段,PP 传边界激活,DP 训练时传梯度(常再传参数)、加载时传权重。

TP · NVLink:激活片段 / 梯度片段 PP · Rail Leaf:边界激活(前向)/ 激活梯度(反向) DP · Leaf:梯度(+ 更新后参数);加载时为权重 DP 跨 SU · Spine:同上 DP 跨 Pod · Core:同上
图 2b 并行布局 + 路径上的载荷:TP=8 × PP=16 × DP=128。每一步右侧写清「传什么 / 走哪条路」。橙色 = 同 stage(示例 stage 5)的 DP 同伴节点。SU / Pod 尺寸为示意(Llama 3 公开 Pod ≈ 3,072 卡)。

动画:checkpoint 从冷存储一路走到 HBM

画面是第 1 章图 H1 / H2 的简化:左侧冷层与热层存储,右侧两个计算节点(每节点画 4 张卡代表 8 张),中间是计算网的 Rail Leaf。上方的「路径条」显示整条链路,当前这一跳高亮、走过的跳变绿;图中已走过的链路保留为浅色实线,所以播完时能看到整条路径。紫色、青色两步是可选分支。

前端网 / DCI 存储网 PCIe Gen5 CPU / DDR5 计算网 Rail 400G GPUDirect Storage(可选) 本地 NVMe(可选)
图 2a Checkpoint 加载全链路:冷层对象存储 →(开训前)热层并行 FS → 存储网 → 存储 NIC → PCIe → 主机 DRAM → CPU 反序列化 → PCIe 交换芯片 → HBM;DP 副本 0 装好后,同号 GPU 经 Rail Leaf 把权重广播给其它 DP 副本。速率为 H100 代量级,耗时为估算。

逐跳对照:链路、带宽和本例耗时

跳链路 / 部件带宽量级本例数据量耗时(估算)与要点
① 冷层 → 热层前端网 / 数据中心互联数十 GB/s(如 400 Gb/s ≈ 50 GB/s)5.7 TB≈ 2 分钟,开训前预热完成,不放在重启关键路径上
② 热层 → 节点存储节点 NVMe → 存储网交换机 → 计算节点存储 NIC每节点 ≈ 50 GB/s;全集群共享 ≈ 2 TB/s全集群 5.7 TB;副本 0 节点 53 GB,其余 2.4 GB≈ 3 s;瓶颈是聚合带宽和元数据,不是单节点网卡
③ NIC → DRAMPCIe x16 DMA → CPU root → DDR564 GB/s / 方向≤ 53 GB / 节点≈ 1 s,通常与 ② 流水重叠
④ 反序列化CPU + DDR5数 GB/s – 数十 GB/s(取决于格式、是否零拷贝 mmap)≤ 53 GB / 节点数秒到数十秒,常被低估;改并行配置时还要 reshard
⑤ H2DDRAM → CPU root → PCIe 交换芯片 → HBM64 GB/s / 卡;同一交换芯片的 2 卡共享上行每卡 ≈ 6.6 GB≈ 0.1–0.2 s
⑥ GDS(可选)存储 NIC → PCIe 交换芯片 → HBM同上,省掉 DRAM 中转和一次 CPU 拷贝同上省 ③④ 的拷贝,但格式必须能直接按张量落位
⑦ DP 广播GPU → 计算 NIC → Rail Leaf(→ Spine / Core)→ 对端 NIC → GPU400 Gb/s ≈ 50 GB/s / 卡每卡 6.3 GB≈ 0.15 s + 跨 Pod 收敛;同号 GPU 同一条 rail
⑧ 本地 NVMe(可选)DRAM → PCIe 交换芯片 → U.2 数据盘整机 ~20–50 GB/s≤ 53 GB / 节点异步写;下次同一节点重启直接读本地盘,不再打热层
不做「读一次再广播」会怎样:2,048 个节点各自去读 53 GB,总读量 ≈ 108 TB,按 2 TB/s 聚合带宽要 ≈ 54 s,还会把热层的元数据服务和存储网一起打满(第 3 章图 1c 的 I6「读风暴」)。只让 DP 副本 0 读权重、其余副本只读自己那 2.4 GB 优化器分片,总读量降到 ≈ 5.7 TB,≈ 3 s;权重差额由计算网补上,而计算网每节点 3.2 Tb/s,是存储网卡的 4–8 倍。
进一步:让 128 个 DP 副本各读同一 stage 权重的 1/128,再在计算网上 all-gather,可以把读盘压力摊到 128 张存储 NIC 上,比「副本 0 读、其他人等」更均衡;从邻居节点的内存快照恢复则连热层都不用碰。这些写回侧的设计放在 checkpoint 写回一节展开。

3全景:一个 step 的数据流

先看一个典型的 DGX H100 节点(8 卡)及其在万卡集群中的位置。标红编号是后文逐节展开的五类瓶颈。

调度系统 Slurm / K8s + Volcano gang 调度 · 拓扑感知 健康检查 · 热备节点 1 共享存储 并行文件系统 / 对象存储 Lustre · GPFS · 3FS · Tectonic 集群聚合:TB/s 级 均摊到每卡:≈0.1–3 GB/s 训练数据(读) Checkpoint(突发写) 2 计算节点 ×N(DGX H100:8 GPU) 2× CPU + ~2 TB DRAM + 本地 NVMe DataLoader worker:读取 / 解码 / tokenize / packing → pinned 缓冲 Checkpoint 快照:HBM → 主机内存 → 异步落盘 PCIe Gen5 交换芯片:每 GPU x16 ≈ 64 GB/s/方向(H2D / D2H / GPUDirect RDMA) NVSwitch:每 GPU 900 GB/s(双向),节点内 TP / EP all-reduce、all-to-all 4 GPU:BF16 稠密 ~989 TFLOPS · HBM3 80 GB · 3.35 TB/s 算力 / 带宽 ≈ 295 FLOP/Byte,算子不够「胖」就被 HBM 卡住 3 计算网络(IB / RoCE) rail-optimized 多层 Fat-tree GPU i → NIC i → Rail Ri 同 SU 同 rail 一跳;跨 SU 经 Spine Checkpoint 链路 GPU HBM →(PCIe D2H)→ 主机 pinned 内存(秒级快照,训练可继续)→ 节点间互备 / 本地 NVMe →(异步)→ 共享存储持久化 5 前端网络 8×400G
数据 / I/O 路径 GPU 计算与 HBM 集合通信(NVLink / IB) Checkpoint 路径 瓶颈:1 启动与调度 2 存储 I/O 与解码 3 计算与 HBM 4 通信 5 Checkpoint 与故障
图 1 单节点视角的硬件拓扑与五条数据流:训练数据(绿)、计算(蓝)、集合通信(橙)、checkpoint(紫)。右侧 R0–R7 是 8 台 rail leaf;Spine 把各 rail、各 SU 互连。详见下图路径分解。

R0–R7、Spine,以及「GPU0 → 另一节点 GPU1」怎么走

R0–R7 是 8 台 leaf 交换机(rail)。每个 DGX 节点的 8 根 400G 线分别接到 8 台不同的 leaf:GPU0 的 NIC0 接 R0,GPU1 的 NIC1 接 R1,……。一台 leaf 端口有限(常见约 32 口下行),所以同一组 R0–R7 只覆盖一个 SU(约 32 节点 / 256 卡)。Spine 是上一层交换机:把 8 台 rail 互连,也把多个 SU 互连。

因此「GPU0 与另一节点的 GPU1 怎么通信」取决于两点:① 两节点是否在同一 SU;② NCCL 是否启用 PXN(Peer eXchange over NVLink,DGX 上默认开启)。

路径 A:同 SU · 同号 GPU → 只经对应 Ri,不经 Spine 路径 B(默认 PXN):跨号 GPU → 本机 NVLink 转到同号卡,再经目标号的 Ri,不经 Spine 路径 C:跨 SU → 必经 Spine(即使同号 GPU) 无 PXN 的跨号通信 → R源 → Spine → R目标(应避免)
图 1b rail-optimized 拓扑与三条典型路径。拖动下方控件可查询任意「节点 A 的 GPUi → 节点 B 的 GPUj」实际走哪几跳。结论:同 SU 内跨号通信靠 PXN 统一变成「目标号 rail 一跳」;只有跨 SU 才必须上 Spine。
直接回答「GPU0 → 另一节点 GPU1」: 同 SU + PXN(默认)时,路径是
A.GPU0 ─NVLink→ A.GPU1 ─NIC1→ R1 ─一跳→ B.NIC1 → B.GPU1
只经过 R1,不经过 Spine。若关闭 PXN,才会变成 R0 → Spine → R1。若两节点不在同一 SU,则无论同号还是跨号,都必须经过 Spine。

存储 I/O:多机多卡怎么从 S3 读到 HBM

计算网络解决「卡和卡之间」,存储 I/O 解决「数据和 checkpoint 从哪来、到哪去」。真实集群几乎都是三层存储:冷层的对象存储(S3 / OSS / GCS,容量最大、最慢),热层的并行文件系统或分布式缓存(NVMe 集群,TB/s 级),以及节点本地的 NVMe 与内存。训练进程读到的数据,绝大多数应当来自热层或本地,而不是直接打到 S3。

冷层:对象存储 S3 / OSS / GCS / Ceph RGW · 容量 PB–EB,HDD + 纠删码 · HTTP GET,首字节 10–100 ms · 单连接 ~50–100 MB/s,靠高并发 · S3 单前缀 ~5,500 GET/s 限流 · LIST 每页 1,000 key,百万文件 列目录要分钟级 · 跨区域 / 出云流量计费 I1 离线数据管线 Spark / Ray:清洗、去重、过滤 切 shard:WebDataset tar / Parquet / MDS(每个 ~0.1–1 GB) LLM:预 tokenize 成 .bin/.idx 视频:可预编码 VAE latent 热层:并行文件系统 / 分布式缓存 3FS · Lustre · WEKA · GPFS · JuiceFS / Alluxio(缓存 S3) 元数据服务(MDS / KV) open / stat / list / 目录树;小文件的真正瓶颈 I2 数据按 chunk 条带化到上百台存储节点 聚合读带宽 TB/s 级: 3FS 180 节点 ≈ 6.6 TiB/s;Llama 3 Tectonic 持续 2 TB/s、峰值 7 TB/s(240 PB) 容量 10–100 PB,放「当前训练要用的」数据 预热 / 回源 存储 网络 以太网 / RoCE / 独立 IB 多数集群 与计算网 物理分离 收敛比 常高于 计算网 计算节点 ×1,250+(每节点独立拉数据) 存储网卡 1–2 × 200/400G ≈ 25–100 GB/s / 节点 I3 计算网卡 8×400G 一般不走存储流量 2× CPU(~112 核)+ 2 TB DRAM(page cache) 每个 rank 起 N 个 DataLoader worker: 读 shard → 解码(JPEG / H.264)→ 缩放裁剪 → tokenize / packing → pinned 缓冲 I4 本地 NVMe(DGX H100:8 × 3.84 TB ≈ 30 TB) 数据集缓存 / shard 预取 / checkpoint 暂存 PCIe Gen5 交换:H2D、GPUDirect RDMA、存储网卡共享 I5 H2D GPUDirect Storage:绕过 CPU 一个 TP / CP 组只需读一份数据,组内再广播;PP 只有首尾 stage 要数据 同一套 I/O,三种时刻的瓶颈完全不同 I6 ① 冷启动 / 首轮:热层未命中 → 大量回源 S3,受请求限流与首字节延迟约束;百万小文件的 LIST / open 先把 MDS 打满。 ② 稳态训练:命中热层 / 本地缓存,带宽通常够;真正的瓶颈往往在 CPU 解码、小文件 IOPS 和 Python worker 开销上。 ③ 故障重启:上万进程同时 import 包、读索引、读 TB 级 checkpoint,形成瞬时「读风暴」,这是 I/O 峰值最高的时刻。
I/O 瓶颈:I1 回源与请求限流 I2 元数据风暴 I3 节点存储带宽 I4 CPU 解码与预处理 I5 PCIe / NUMA 争用 I6 启动与恢复读风暴
图 1c 存储 I/O 拓扑:冷层对象存储 → 热层并行文件系统 / 缓存 → 存储网络 → 节点(存储网卡 → 内存 / 本地 NVMe → CPU 预处理 → PCIe → GPU)。紫色虚线为 GPUDirect Storage 直通路径。注意存储网卡只有计算网卡带宽的 1/4–1/8。

各层的量级:越靠近 GPU 越快、越小

层级典型实现容量带宽(量级)延迟放什么
冷层:对象存储S3 / OSS / CephPB–EB集群级取决于并发与限流;单连接 ~0.1 GB/s10–100 ms全部原始数据、归档 checkpoint
热层:并行 FS / 缓存3FS / Lustre / WEKA / JuiceFS10–100 PB聚合 1–7 TB/s0.1–1 ms当前阶段训练集、近期 checkpoint
存储网卡(每节点)1–2 × 200/400G—25–100 GB/sµs 级—
本地 NVMeDGX:8 × 3.84 TB~30 TB~20–50 GB/s~100 µsshard 缓存、checkpoint 暂存
主机内存2 TB DRAM2 TB数百 GB/s~100 nspage cache、预取队列、pinned 缓冲、内存快照
GPU HBMHBM380 GB × 83.35 TB/s / 卡—当前 batch

热层的数据什么时候装进来:数据生命周期

热层不是一个「被动缓存」,而是一块按计划装填的暂存区。原因很简单:大模型预训练的数据通常只过 1–2 遍,视频甚至不到一遍,「读一次、缓存住、下次命中」的缓存逻辑几乎用不上。如果靠读时回源,每个样本都要付一次回源代价;冷启动时上万节点同时回源,就会形成图 1c 里 I1、I6 那样的风暴。所以万卡训练的主流做法是:开训前按阶段批量预热,训练中按读取顺序滚动预取,读时回源只作兜底。

冷层S3 / OSS 热层并行 FS / 缓存 节点本地NVMe + 内存 GPU训练 阶段 1 开训 阶段 2 开训(换数据配比 / 分辨率) ETL 写入 清洗、去重、切 shard、预编码 数据湖:唯一可信来源,长期保存(版本、权限、生命周期策略) ⑤ checkpoint 归档 保留里程碑版本 ① 阶段 1 预热 批量拷贝 + 校验 阶段 1 工作集(按配额驻留) 阶段结束后整批淘汰,腾出容量 ② 阶段 2 预热 与训练重叠,限速 阶段 2 工作集 ③ 滚动预取窗口:sampler 是确定性的,提前把后面 N 个 shard 拉到本地,读完即淘汰 未命中直接回源(兜底,应尽量避免) 训练(阶段 1) 训练(阶段 2) ① 阶段开训前批量预热(主力) ② 下一阶段预热,与当前训练重叠 ③ 本地滚动预取 ④ 快照 → 热层 checkpoint ⑤ 归档到冷层 读时回源:只作兜底;冷启动时上万节点一起回源就是读风暴
图 1d 数据生命周期时间线:ETL 写入冷层 → 按阶段预热到热层 → 训练中滚动预取到本地 NVMe → 用完淘汰;反方向是 checkpoint:GPU 快照 → 热层 → 里程碑版本归档到冷层。阶段切换前,下一阶段的数据已在后台预热好,GPU 不必等待。

四种装载方式

时机做法典型实现适合的场景
训练前批量预热(主力)按数据配比把本阶段要用的 shard 整批拷进热层,校验完整后再开训aws s3 sync / distcp 拷进 Lustre、3FS;JuiceFS warmup;Alluxio load;FSx for Lustre 预加载大规模预训练;本阶段数据集放得进热层(10–100 PB)
训练中滚动预取sampler 是确定性的,未来要读哪些 shard 事先已知,提前 N 个拉到热层或本地 NVMe,读完淘汰自研 prefetcher、MosaicML Streaming、WebDataset 加缓存数据集远大于热层,例如 PB 级视频
读时回源第一次访问未命中就从 S3 拉回并缓存,按 LRU 淘汰JuiceFS / Alluxio / Fluid 缓存;FSx for Lustre 关联 S3 后的懒加载小规模、多轮迭代、实验性任务
写入时即落热层ETL 产出先写热层供训练使用,再异步归档到冷层Lustre HSM 归档、分层存储策略数据管线与训练集群在同一机房

热层和冷层,区别到底在哪

最根本的区别不是用了哪个产品,而是角色:冷层是数据唯一可信的来源,追求便宜和持久;热层是贴着 GPU 的工作集,追求带宽和延迟,丢了可以从冷层重建。介质、协议、语义、管理方式上的差异,都是从这个角色差异推出来的。

维度冷层(S3 / OSS / Ceph RGW)热层(3FS / Lustre / WEKA / GPFS / 缓存)
角色唯一可信来源,永久保存当前训练的工作集,可以重建
介质高密度 HDD 为主,每台服务器几十到上百块盘全闪 NVMe,每台约 10–20 块盘
冗余纠删码(如 8+3)、跨可用区,追求极高持久性条带化换并行带宽;副本或链式复制保可用性,持久性要求较低,纯缓存甚至允许丢失
协议与位置HTTP REST over TCP,经网关 / 负载均衡;常在另一机房甚至另一地域RDMA(IB / RoCE)原生客户端,或内核 / FUSE 客户端;与 GPU 集群同机房
语义扁平 key-value;对象不可变,不能 rename / append;LIST 分页POSIX 目录树,支持 open / seek / mmap / 随机读;依赖专门的元数据服务(MDS,或 3FS 的 FoundationDB)
单客户端性能单连接约 0.1 GB/s,首字节 10–100 ms,按前缀限流数 GB/s 到数十 GB/s,亚毫秒延迟
集群性能聚合吞吐靠海量并发堆出来,延迟高聚合 1–7 TB/s,IOPS 高,小文件也扛得住
容量与成本PB–EB,每 TB 最便宜10–100 PB,每 TB 贵数倍乃至一个数量级
管理方式生命周期策略、版本、权限审计、跨区复制;由数据治理团队管理按项目 / 作业配额,显式预热与淘汰,与调度器联动(如 K8s 上 Fluid 的 Dataset + 数据亲和调度);由训练平台管理
冷、热是角色,不是产品。DeepSeek 的 3FS、Meta 训练集群的 Tectonic(全闪部署)都直接作为训练数据的主存储,没有单独的回源环节;云上常见的组合是「S3 + FSx for Lustre / JuiceFS」,后者兼做懒加载和预加载;S3 Express One Zone 这类低延迟对象存储则在模糊两层的边界。

交互:你的训练任务,I/O 瓶颈在哪?

I/O 压力不取决于「数据集有多大」,而取决于每秒要消费多少样本、每个样本多大、要不要解码、文件是否切成大 shard。同一个世界模型,低分辨率预训练阶段和高分辨率阶段的瓶颈可以完全不同。选一个预设,或自己改参数。

图 1e 稳态读数据的需求与容量对比。每秒消费样本数由模型算力推出(例如 14B DiT 一个 720p×5s 样本约 11 万 token,8 卡合算约 12 s 一个);解码速度、码率均为示意值,与编码格式、源分辨率强相关,落地前请在目标机器上实测。

真实场景里常见的坑

  • 小文件:一张图一个对象,S3 请求数和 MDS open/stat 先于带宽成为瓶颈。切成 0.1–1 GB 的 tar / Parquet shard,请求数可下降 3–4 个数量级。
  • 全局 shuffle:样本级随机读会摧毁顺序读带宽。做法是 shard 级打乱 + worker 内缓冲区打乱,近似全局随机。
  • 组内重复读取:TP / CP 组的 8 张卡各自起 DataLoader,读取量和解码量都放大 8 倍。应由组内一个 rank 读取再广播,或者用节点级共享 loader。
  • 为低分辨率训练解码高分辨率源:256p 训练却每次解码 1080p 原片,再加上 GOP 寻址放大,CPU 被吃光。可以离线转出低分辨率副本,或改用 NVDEC。
  • Python worker 开销:worker 进程多了,内存和 IPC 拷贝放大;worker 少了,又喂不饱 GPU。要配合 pinned 内存、共享内存与 NUMA 绑核。

启动与恢复的「读风暴」

  • Python import 风暴:上万进程同时从 NFS 加载 site-packages,元数据服务器被打爆。做法是把环境打进容器镜像放到本地,或使用镜像懒加载。
  • 数据集索引:每个 rank 都去 LIST 一遍目录或读一遍大索引文件。应离线生成 manifest,由 rank 0 读取后广播。
  • Checkpoint 加载:405B 的完整训练状态约 5.7 TB。即便热层有 2 TB/s,加上 open 开销和带宽争抢,加载时间仍以分钟计。更好的做法是每个 DP 副本只读一份分片,再经计算网广播。计算网每节点约 400 GB/s,是存储网卡的 4–8 倍,或者直接从邻居节点的内存快照恢复。
  • 预热:下一阶段的数据提前从 S3 拉到热层或本地 NVMe,避免训练开始时整个集群一起回源。

动画:一个训练 step 的生命周期

下面用 4 个节点演示「TP=8(节点内)× PP=2(横向)× DP=2(纵向)」的最小切分。每 3 个 step 触发一次 checkpoint。可以直接录制成 .webm 视频,嵌进 PPT 或文章。

动画 1 数据加载 → 前向(节点内 TP all-reduce,跨节点 PP 传激活)→ 反向 → DP 梯度 reduce-scatter → 优化器更新 → 周期性 checkpoint。勾选「重叠」后,DP 通信藏到反向计算后面,step 变短。
图 2 带宽阶梯(H100 一代典型值,对数坐标,GB/s,单方向)。越往外走,带宽掉一个数量级;把通信量大的并行维度放在内层(NVLink),通信量小的放在外层(IB),是并行策略设计的第一原则。存储均摊值按 Llama 3 披露的 Tectonic 持续 2 TB/s ÷ 16K 卡估算。

4训练 pipeline 详解

硬件和「一个 step 长什么样」已经清楚了。本章按训练作业的真实流水线,把五个环节拆开:调度启动 → 数据加载 → GPU 计算与多维并行 → 梯度同步与优化器 → Checkpoint / 容错。每一节都按同一模板写——数据怎么流转、卡在哪、硬件 / 软件 / 算法各自能做什么——方便和第 0 章的 MFU × 有效时间公式对照。

4.1资源调度与作业启动 1

万卡作业 ≈ 1,250+ 节点、10,000+ 进程,必须全有或全无地同时拿到(gang scheduling)。调度器做的不只是「分卡」,还决定了后面的通信效率和故障率。

流转与瓶颈

  • 拓扑碎片:TP/EP 组必须在节点内,PP/CP 组最好在同一 leaf 或 pod 内;放置散了,跨 spine 流量增多,拥塞概率上升。
  • 坏节点混入:一张「亚健康」GPU(降频、ECC 错、链路抖动)会让全体等它,变成永久的掉队者。
  • 启动开销:镜像拉取、Python import、NCCL communicator 初始化、加载 checkpoint。MegaScale 报告未优化时 2,048 卡初始化需要 1,047 s。

协同优化

  • 硬件rail-optimized 组网,按 pod 预留,热备节点池(比如保留 1–3% 冗余)。
  • 软件拓扑感知放置(rank 到物理位置的映射)、上线前 burn-in(GEMM、NCCL all-reduce、DCGM diag、IB 链路检查)、镜像 P2P 分发与懒加载、通信组并行建链(MegaScale 将 2,048 卡初始化降到 5 s 以内,万卡以上低于 30 s)。
  • 算法按并行维度通信量排序后映射 rank(TP 最内层、DP 最外层)。

4.2数据加载 2

数据路径:共享存储 → 本地 NVMe 缓存 → CPU(解码、tokenize、packing)→ pinned 内存 → PCIe H2D → GPU HBM。LLM 和世界模型在这一环差别最大。

图 3 数据流水线。上排为 LLM(预先 tokenize,带宽需求极低),下排为世界模型(视频解码与 VAE 编码可能成为主瓶颈)。红色标出每条链路最常见的瓶颈点。

动画:权重和数据是怎么走到每张 GPU 的 HBM 里的

下面把第 1 章的硬件图简化成「存储集群 + 两个计算节点 + 计算网 rail leaf」,用流动的点表示数据。点击按钮选择场景,可以自动播放,也可以逐步查看;点击右侧步骤可以直接跳到那一步。

前端网 / DCI(冷层 ↔ 热层) 存储网(热层 ↔ 节点存储 NIC) PCIe(NIC / DRAM / GPU 之间) CPU 处理 计算网 / NVLink(广播) GPUDirect Storage(可选直通)
图 3b 权重加载与数据加载的硬件路径动画(示意,每节点只画 4 张卡代表 8 张卡)。权重加载:热层存储 → 存储网 → 主机内存反序列化 → PCIe H2D 进 HBM,数据并行副本改用计算网广播。数据加载:冷层离线搬到热层 → 按 rank 读分片 → 本地缓存 → CPU 预处理 → H2D,稳定运行时多级预取与计算重叠。

LLM:带宽不是问题,「正确性」和「随机读」才是

  • Llama 3 一个 step 16M tokens,以 uint32 存储只有 64 MB,均摊到每卡几 KB。
  • 真实痛点:海量小文件或随机读引发的元数据压力、启动时扫描索引耗时、断点续训时 sampler 状态必须精确恢复(否则数据重复或遗漏)。
  • sequence packing 加上文档级 attention mask,避免 padding 浪费。
  • 只有 TP rank 0 读取后广播;PP 只有首尾 stage 需要输入和标签。

世界模型:解码和预处理可能比训练还贵

  • 原始视频每样本几 MB 到几十 MB;在低分辨率、小模型阶段,CPU 软解 1080p 源片(加上 GOP 寻址放大)常常跟不上 8 张 H100 的消耗速度(见图 1e)。
  • 方案一:离线预编码 latent(VAE / tokenizer 离线跑完),训练时只读 latent,存储增加,在线计算降低。
  • 方案二:GPU 解码(NVDEC / DALI),把解码挪到 GPU 上,但会占用 SM 和 HBM。
  • 多分辨率、多时长样本会导致各卡负载不均,需要按 token 数分桶,并在 DP 组内做负载均衡。
原则:数据加载必须完全被 GPU 计算遮住(预取深度 ≥ 2 个 step,worker 和 pinned 内存足量,non_blocking H2D)。只要有一个 rank 在等数据,所有卡都在等。

4.3GPU 计算与多维并行 34

405B 模型的训练状态(BF16 权重、梯度,FP32 主权重和 Adam 两阶矩,约 16 B/参数)≈ 6.5 TB,远超单卡 80 GB,所以必须切分。每多切一刀,就多一类通信。

图 4 并行维度到物理拓扑的映射:通信最密的 TP(以及 EP)放在节点内 NVLink;CP、PP 跨相邻节点;DP/FSDP 在最外层,跨 pod。Llama 3 405B(8K 序列)配置:TP=8、PP=16、DP=128。
并行维度切什么通信原语每 step 通信量(量级)链路能否与计算重叠
TP 张量并行层内矩阵all-reduce(或 RS+AG,SP)每层前向 2 次、反向 2 次,每次 b·s·hNVLink难,需要 GEMM 与通信细粒度重叠
CP 上下文并行序列维KV ring P2P / all-gather每层 KV 块NVLink / IB较易,可与 attention 分块计算重叠
PP 流水并行层间P2P send/recv每个 micro-batch 在 stage 边界传 b·s·hIB通信容易重叠,代价是气泡
EP 专家并行MoE 专家all-to-all每个 MoE 层前向 2 次、反向 2 次NVLink / IB难,需要 DualPipe 类调度
DP / FSDP样本 / 状态分片reduce-scatter + all-gather≈ 2× 本地参数量(每 step)IB(跨 pod)易,按 bucket 与反向重叠

专讲 PP:为什么要切、一个 SU(32×8 卡)怎么切

上面表格里 PP 一行只有结论。这里用一个 SU = 32 节点 × 每节点 8 卡 = 256 GPU,对照 Llama 3 405B 量级,把「深度方向装不下 → 按层跨节点切开 → micro-batch 流水线」串起来。点按钮看动画。

节点内 TP=8 · NVLink 跨节点 PP · 计算网 P2P micro-batch 在算 气泡 / 空闲 · 不跨节点的状态 跨节点:激活 / 激活梯度
图 4b PP 专讲动画。设定:TP=8 · PP=32 · DP=1,405B 量级。点「③ 前向/反向传什么」看动画里标注的跨节点 / 节点内流量与字节数;「⛶ 放大」全屏,Esc 退出。
PP=32 每节点存多少(405B · 16 B/参数 · 均匀按层切,示意)
整模状态 405B × 16 B ≈ 6.48 TB。PP 按层切成 32 份后,每个节点只永久持有约 1/32(节点内再被 TP=8 均分到 8 卡):
状态精度整模每节点(÷32)每卡(再÷8)会跨节点传吗?
权重 WBF16≈ 810 GB≈ 25.3 GB≈ 3.2 GB否(留在本 stage)
梯度 ∂L/∂WBF16≈ 810 GB≈ 25.3 GB≈ 3.2 GB否(DP=1 时本节点自己更新;DP>1 才在副本间同步)
主权重FP32≈ 1.62 TB≈ 50.6 GB≈ 6.3 GB否
Adam mFP32≈ 1.62 TB≈ 50.6 GB≈ 6.3 GB否
Adam vFP32≈ 1.62 TB≈ 50.6 GB≈ 6.3 GB否
合计(状态)—≈ 6.5 TB≈ 202.5 GB/节点≈ 25.3 GB/卡状态本身不跨 PP 边界搬运
前向激活BF16—边界一次 ≈ b·s·h·2TP 组内再切/还原是 · Stage i → i+1
反向激活梯度BF16—同上量级同上是 · Stage i+1 → i

激活体积举例:取 micro-batch b=1、序列 s=8192、hidden h=16384(405B 量级),BF16 下一次边界传输 ≈ 1×8192×16384×2 B ≈ 268 MB。这和「把 25 GB 权重搬到邻机」完全不是一回事。节点内 TP 的 all-reduce 走 NVLink,也不算跨节点 PP 流量。

专讲 TP:一层矩阵怎么切到 8 卡、前向/反向传什么

PP 把不同层分到不同节点;TP 把同一层里的大矩阵切到同一节点的 8 张 GPU。下面动画仍用同一套设定:TP=8 · 节点内 NVLink,micro-batch b=1,s=8192,h=16384,BF16(一次 all-reduce ≈ 268 MB)。

TP 分片 / NVLink 通信 本卡 GEMM 计算 all-reduce / all-gather 中的激活 权重分片常驻本卡 · 不广播整模
图 4c TP 专讲动画(Megatron 风格列并行→行并行示意)。一层权重按列/行切到 G0…G7;前向每层常见 2 次 集合通信,每次 ≈ 268 MB,走 NVLink。点「⛶ 放大」全屏。

同一节点内:为什么用 TP,而不是把 8 卡做成 PP?

看完上面的 TP 动画,容易问:节点里也有很快的 NVLink,为什么不把 8 张卡串成 PP=8?结论是——不是 TP 处处优于 PP,而是「节点内二选一」时 TP 通常明显更合适;PP 的主场在跨出 NVLink 域之后。

维度节点内 TP=8节点内 PP=8(每卡一个 stage)
在干什么8 卡同时算同一层的不同分片8 卡按层排队:算完再把激活交给下一张卡
通信走哪NVLink 集合通信(密,但链路够快)也可以走 NVLink(链路不慢)
主要浪费集合通信本身(NVLink 通常扛得住)流水线气泡:大量时间在等前后 stage
GPU 利用率8 卡一起忙容易出现「只有 1~2 张卡在算」
气泡量级无 PP 气泡≈ (p−1)/(m+p−1);例如 p=8,m=8 → 约 47%
层内大 GEMM天生适合切宽度每 stage 只剩 1 卡,层内没有并行
填气泡的代价—需要更多 micro-batch → 全局 batch 更大/更碎,调参更烦
一句话:节点内瓶颈通常不是「网太慢」,而是「GPU 要一直有活干」。NVLink 已经很快,再用 PP 会引入气泡;用 TP 才能把 8 张卡同时喂饱。跨节点时网变慢、深度又装不下,才轮到 PP 按层切开——那是另一回事,不是「TP 不如 PP」。

业界默认摆法也与此一致:NVLink 域内优先 TP(以及 MoE 的 EP);PP 留给域与域之间。节点很大(如 NVL72)时,仍然是「域内尽量 TP,域间再 PP」,而不是在域内优先铺满 PP。

交互:流水线气泡有多大?

图 5 1F1B 调度模拟(前向耗时 1,反向耗时 2)。气泡比例 ≈ (p−1)/(v·m + p−1)。增大 m 需要更大的全局 batch,而 batch 过大会伤害收敛,这正是算法与系统的拉锯点。

单卡算力:MFU 的天花板

  • 硬件Tensor Core 与 FP8(H100 FP8 稠密约为 BF16 的 2 倍)、更大的 HBM 带宽。
  • 软件FlashAttention、融合算子(RMSNorm、RoPE、SwiGLU)、CUDA Graph 降低 launch 开销、torch.compile。
  • 算法选择性重计算(以算换存)、FP8 细粒度缩放(DeepSeek-V3)、让 hidden 维和 head 维对齐 Tensor Core 的 tile 形状。

4.4梯度同步与优化器更新 4

反向结束后,每个 DP 组要把梯度规约(reduce-scatter),各自更新本地那一片优化器状态(ZeRO-1 / 分布式优化器),再把新参数 all-gather 回来。关键在于不要让这段通信单独占一截时间。

图 6 计算流与通信流时间线(示意)。上:反向结束后才做 all-reduce,通信全部暴露。下:梯度按 bucket 分组,算完一组就启动 reduce-scatter;FSDP 参数 all-gather 预取到下一 step 前向,暴露的通信只剩最后一个 bucket。

流转与瓶颈

  • DP 跨 SU / 跨 pod 必须走 Spine,是带宽最低、最易拥塞的一层,还要和跨 SU 的 PP / EP 流量争抢。
  • 同 SU 内跨号 GPU 通信靠 PXN 走目标 rail,不占 Spine;但 PXN 会占用节点内 NVLink 带宽,与 TP 争抢。
  • 梯度裁剪需要全局 norm,即一次全局标量 all-reduce,这是一个隐蔽的全局同步点。
  • 掉队者:同步训练下,任何一张卡慢 10%,整个集群就慢 10%。
  • 网络拥塞与 ECMP 哈希冲突大多发生在 Spine / 汇聚层。

协同优化

  • 硬件rail-optimized、SHARP 网内规约、NVLS、自适应路由、多平面网络(Alibaba HPN);控制 Spine 收敛比。
  • 软件PXN、bucket 重叠、层次化集合通信(节点内 NVLink 先 RS,再跨节点)、NCCL 通道与流调优、掉队者检测。
  • 算法BF16 / FP8 梯度通信、ZeRO 分片、loss spike 时跳过该 step、本地 SGD / DiLoCo 等低频同步(前沿方向)。

4.5Checkpoint 与容错 5

到了万卡规模,故障是常态而不是意外。Llama 3 在 54 天里遭遇 419 次非计划中断,约 78% 与硬件相关,平均每 3 小时一次。容错的目标是让「有效训练时间占比」接近 100%(Llama 3 达到 90% 以上)。

图 7 Llama 3 405B 预训练 54 天内 419 次非计划中断的根因分布(据论文 Table 5 整理)。GPU 及其 HBM 合计接近一半。

Checkpoint 的数据流

  1. 快照:HBM → pinned 主机内存(PCIe D2H,每卡并行,秒级),训练随即继续。
  2. 冗余:快照复制到其他节点的内存或本地 NVMe(Gemini 式内存 checkpoint),单点故障可从邻居恢复。
  3. 持久化:后台异步写入共享存储;每个 rank 只写自己的分片,DP 副本之间去重,只写一份。
  4. 恢复:热备节点替换 → 拉起进程 → 加载分片(必要时按新的并行配置重切分,参考 ByteCheckpoint)。
隐蔽风险:静默数据损坏(SDC)不会报错,只会让 loss 慢慢走偏。需要监控 loss 和梯度范数,必要时重算比对。

交互:checkpoint 间隔该设多少?

图 8 Young–Daly 公式:最优间隔 τ* ≈ √(2·C·MTBF),其中 C 是每次 checkpoint 阻塞训练的时间。损失比例 ≈ C/τ + τ/(2·MTBF)(未计重启时间)。异步快照把 C 从「写完存储」压缩到「拷进主机内存」,从而可以更频繁地保存。

5端到端算账:一个 step 的时间去哪了

先给出理论下界:step 时间 ≈ 6 · N · tokens_per_step / (GPU 数 × 单卡峰值 × MFU)。以 Llama 3 405B 为例:6 × 405×10⁹ × 16×10⁶ ≈ 3.9×10¹⁹ FLOPs;16,384 × 989 TFLOPS × 40% ≈ 6.5×10¹⁸ FLOP/s,所以 每个 step 约 6 s。

图 9 step 时间分解(示意数值,用来说明各项量级关系,并非实测)。优化工作就是把除「有效计算」以外的色块逐个压扁。下一版计划换成某个真实配置的 nsys 实测分解。

6软硬件算法协同优化全景

环节主要瓶颈硬件软件 / 系统算法
调度 / 启动拓扑碎片、坏节点、初始化慢rail-optimized、按 pod 预留、热备池gang 调度 + 拓扑感知、burn-in、并行建链、镜像懒加载按通信量排序的 rank 映射
数据加载解码 CPU 瓶颈、随机读、负载不均本地 NVMe、NVDEC、高带宽前端网预取、pinned 内存、DALI、确定性可恢复 sampler离线 latent、packing、按长度分桶
计算HBM 带宽、kernel 低效、显存不足Tensor Core、FP8、更大 HBMFlashAttention、融合算子、CUDA Graph、compile选择性重计算、FP8 训练、形状对齐
并行通信TP / EP 暴露、PP 气泡NVLink / NVSwitch 域扩大(NVL72)通信与 GEMM 重叠、通信专用 SM 配额interleaved 1F1B、DualPipe、zero-bubble、CP
梯度同步跨 pod 带宽、拥塞、掉队者SHARP、自适应路由、多平面网络bucket 重叠、层次化集合通信、掉队者诊断ZeRO 分片、低精度梯度通信、低频同步
Checkpoint / 容错写入突发、MTBF 短、SDC高带宽存储、主机大内存异步分片 checkpoint、内存冗余、自动重启、flight recorderYoung–Daly 间隔、loss spike 跳过、可重切分

7LLM 基座 vs 世界模型:哪里不一样

维度LLM 基座世界模型(视频 / 多模态生成)对系统的影响
单样本 token 数4K–128K1 分钟 720p 视频压缩后可达 10⁵–10⁶ tokenCP(ring attention)从可选变为必需
数据体量与预处理TB–百 TB 级文本,预 tokenize 很便宜PB 级视频,解码与 VAE 编码很贵数据环节可能成为主瓶颈,需要离线 latent 管线
模型结构Decoder-only,形状规则DiT / 自回归 + 扩散、多分辨率、多时长负载不均,需要动态分桶与均衡
额外模块无冻结的 VAE / 文本编码器可以拆成独立服务,或与训练卡共置
通信模式TP / PP / DP 为主,MoE 加入 all-to-allCP 的 KV 通信重,序列极长NVLink 域大小直接决定可用序列长度
Checkpoint参数量大参数量常常更小,但数据加载状态复杂需要精确恢复多数据源的采样位置

8参考资料

  1. Llama Team. The Llama 3 Herd of Models. arXiv:2407.21783, 2024.(16K H100、4D 并行、故障统计)
  2. Jiang et al. MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs. NSDI 2024, arXiv:2402.15627.
  3. Narayanan et al. Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM. SC 2021, arXiv:2104.04473.
  4. Rajbhandari et al. ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. SC 2020, arXiv:1910.02054.
  5. DeepSeek-AI. DeepSeek-V3 Technical Report. arXiv:2412.19437, 2024.(DualPipe、FP8 训练)
  6. Wang et al. Gemini: Fast Failure Recovery in Distributed Training with In-Memory Checkpoints. SOSP 2023.
  7. Wan et al. ByteCheckpoint: A Unified Checkpointing System for Large Foundation Model Development. arXiv:2407.20143.
  8. Qian et al. Alibaba HPN: A Data Center Network for Large Language Model Training. SIGCOMM 2024.
  9. NVIDIA. Cosmos World Foundation Model Platform for Physical AI. arXiv:2501.03575, 2025.
  10. Meta. Movie Gen: A Cast of Media Foundation Models. arXiv:2410.13720, 2024.
  11. Liu et al. Ring Attention with Blockwise Transformers for Near-Infinite Context. arXiv:2310.01889.
  12. Daly. A higher order estimate of the optimum checkpoint interval for restart dumps. FGCS 2006.
  13. NVIDIA. NVIDIA DGX SuperPOD Reference Architecture: DGX H100 与 DGX H100 User Guide.(SU、rail-optimized 网络、四网分离、节点规格)
  14. NVIDIA. GB200 NVL72 产品资料.(72 卡 NVLink 域、Grace + NVLink-C2C、机柜液冷)
  15. Meta Engineering. Building Meta's GenAI Infrastructure, 2024.(两套 24K H100 集群:RoCE 与 InfiniBand,Grand Teton,Tectonic)
  16. An et al. Fire-Flyer AI-HPC: A Cost-Effective Software-Hardware Co-Design for Deep Learning. SC 2024, arXiv:2408.14158.(萤火二号,约 1 万 PCIe A100)
  17. DeepSeek-AI. 3FS: Fire-Flyer File System. github.com/deepseek-ai/3FS.(180 存储节点,读约 6.6 TiB/s)
  18. Supermicro / NVIDIA 关于 xAI Colossus 的公开介绍, 2024.(10 万 H100、Spectrum-X 以太网)
  19. Al-Fares et al. A Scalable, Commodity Data Center Network Architecture. SIGCOMM 2008.(Fat-tree k³/4 容量公式)

附录 A 名词解释

本章集中解释正文里反复出现、但第一次读容易卡住的网络与互连名词。按「拓扑层 → 链路技术 → 节点内互连」排列;正文里第一次出现时也会链到这里。

Leaf / Spine / Core(Fat-tree 的三层交换机)

这是数据中心 Clos / Fat-tree 网络里对交换机的分层叫法,和「接不接 GPU」直接相关:

层别名接什么在万卡训练里干什么
Leaf(第 1 层)ToR、edge、rail leaf直接接节点上的 NIC / GPU 端口rail-optimized 设计里:同一号 GPU(例如所有节点的 GPU0)都接到同一台 Leaf R0。同 SU、同号 GPU 之间一跳就能到
Spine(第 2 层)aggregation、cluster switch只接 Leaf(和上一层 Core),不接 GPU把一个 Pod 内多台 Leaf、多个 SU 互连;同 Pod 跨 rail / 跨 SU 的流量走这里
Core(第 3 层)super-spine、backbone、aggregation(跨 Pod 时)只接 Spine,不接任何 GPU当两层装不下(例如 64 口交换机两层最多约 2,048 个端点)时,再加一层把各个 Spine 组连起来,使不同 Pod 也能互通。规模小到两层够用时,根本没有 Core

类比:Leaf 是小区门口的交换机,Spine 是这片小区的汇聚交换机,Core 是连接各个小区的城域骨干——端点(GPU)永远只插在门口,不会直接插到骨干上。Meta Llama 3 公开架构里,Pod 内的「Cluster Switch」相当于 Spine,跨 Pod 的「Aggregation」就是 Core 这一角色(且做了 1:7 收敛)。NVIDIA SuperPOD 文档则直接叫 leaf / spine / core。

和训练的关系:TP / EP / CP 应尽量落在 NVLink 域或同 SU 的一跳 Leaf 内;PP 尽量在同 Pod;只有 DP 的 all-reduce 才允许穿过 Core。Core 层一旦收敛或拥塞,掉队者会拖慢整个 step。

InfiniBand(IB)与 NDR

InfiniBand 是一套面向 HPC / AI 的专用互连体系:有自己的物理层、链路层、网络层和传输层,不是「以太网 + 软件协议」。网卡(HCA,Host Channel Adapter)和交换机都按 IB 规范实现,由软件栈(如 OFED)驱动。训练里看重它三点:

  • 原生 RDMA:网卡直接读写远端 GPU / 主机内存,不经对方 CPU,延迟低、CPU 开销小。
  • 无损传输与拥塞控制:基于 credit 的流控,配合自适应路由;可选 SHARP(交换机内做 all-reduce 聚合),减轻端点负担。
  • 成熟的 GPU 路径:与 NCCL、GPUDirect RDMA 长期配合,是 DGX SuperPOD 默认计算网络。

NDR(Next Data Rate)是 IB 的一代线速名,对应单端口 400 Gb/s(之前:HDR 200G、EDR 100G;之后:XDR 800G)。所以正文写「InfiniBand NDR 400G」= 用 IB 协议、NDR 这一代、每条链路 400 Gb/s。DGX H100 上的 ConnectX-7 既可以跑 IB NDR,也可以跑以太网 / RoCE,取决于固件与交换机侧。

RoCE 与 RoCEv2

RoCE(RDMA over Converged Ethernet)的目标是:在普通以太网上实现和 IB 类似的 RDMA,从而用以太网交换机组出「看起来像 IB」的计算网络。

  • RoCEv1:RDMA 直接封装在以太网帧里(L2),不能跨三层路由,现已少用。
  • RoCEv2(现今默认):把 IB 传输层封进 UDP/IP,可以跨 L3、用 ECMP 做多路径。正文和公开论文里说的 RoCE,几乎都指 RoCEv2。

和 IB 的关键差别不在「能不能 RDMA」,而在谁保证网络不丢包:IB 靠协议自身的 credit 流控;RoCEv2 跑在以太网上,默认以太网是尽力而为、允许丢包,因此必须额外打开 PFC(基于优先级的反压)、ECN / DCQCN 一类拥塞控制,把网络调成「近似无损」,否则 NCCL 会重传、尾延迟爆炸。成本与生态上,RoCE 可用通用以太网交换机与运维体系,往往比同带宽 IB 更便宜、更易扩到极大规模——Meta 的 24K H100 RoCE 集群、字节 MegaScale、阿里 HPN、xAI Spectrum-X 都属于这条路线。

InfiniBand NDRRoCEv2 以太网
协议栈专用 IB 协议端到端RDMA 封装在 UDP/IP/以太网
典型线速(H100 代)400 Gb/s / 口400 Gb/s / 口(同样常见)
无损靠什么IB 原生 credit 流控;可选 SHARPPFC + ECN/DCQCN 等调参;NVIDIA Spectrum-X 等做了深度优化
公开万卡案例DGX SuperPOD、DeepSeek 萤火二号、Meta 另一套 IB 集群Meta Llama 3 RoCE 集群、MegaScale、阿里 HPN、xAI Colossus
选型直觉延迟与运维成熟、与 NVIDIA 参考架构一致成本、供应链与超大以太网生态;要在拥塞控制上花更多工程

正文里还会碰到的相关词

Fat-tree / Clos
多层全互联(或近全互联)的交换机拓扑。无收敛时任意两端点之间有足够带宽;k 口交换机两层最多 k²/2 个端点、三层最多 k³/4 个。见第 1 章图 H3。
rail / rail-optimized
把「所有节点上的第 i 张 GPU」接到同一组 Leaf(Rail Ri)。同号 GPU 通信不经过 Spine;跨号通信默认用 PXN 先在本机 NVLink 转到同号卡。详见第 3 章图 1b。
SU(Scalable Unit)
可复制的最小集群积木,SuperPOD 里常见为 32 节点 / 256 卡,对应一组 R0–R7 Leaf 的覆盖范围。
PXN
Peer eXchange over NVLink:跨号 GPU 通信时,先经本机 NVLink 转到目标号 GPU,再出对应 rail,从而避免「R源 → Spine → R目标」。DGX 上 NCCL 默认开启。
RDMA / GPUDirect RDMA
Remote Direct Memory Access:网卡直接读写远端内存。GPUDirect RDMA 进一步允许网卡直接访问 GPU 的 HBM,不经过主机 DRAM,前提是 GPU 与 NIC 挂在合适的 PCIe 拓扑下(见图 H2)。
NVLink / NVSwitch
NVIDIA 的节点内(或 NVL72 机柜内)高速互连。NVLink 是链路,NVSwitch 是交换芯片;带宽比 scale-out 网络高约一个数量级,承载 TP / EP / CP。
scale-up vs scale-out
scale-up = 域内用 NVLink 把多卡当「一台大 GPU」;scale-out = 用 IB / RoCE 把多台服务器连成集群。
BMC
Baseboard Management Controller,主板上的带外管理芯片,走独立 1 GbE,节点 OS 挂了也能远程上电、看传感器、刷固件。
「2×200G」这类写法
表示两条并行链路,每条 200 Gb/s,不是 2×200 再变成别的单位。存储网常见双上联:带宽可叠加(理想约 400 Gb/s 总量),也便于接到两台不同交换机做冗余。档位因集群而异——DeepSeek 3FS 存储节点是 2×200G IB;DGX H100 的存储/带内侧是 ConnectX-7,口速最高可到 400G,是否都插满、是否两口都给存储,由机房布线决定。计算网的「8×400G」同理:8 张卡各 1 条 400G,不是单口 3200G。
UPI(Ultra Path Interconnect)
Intel 双路(及多路)至强 CPU 插座与插座之间的专用互连,接替早年的 QPI。图 H2 顶部 CPU0 ↔ CPU1 那条就是 UPI。它运的是跨 socket 的缓存一致性流量、远程内存访问,以及「必须绕到另一颗 CPU 下面」的 PCIe 设备访问;GPU 之间的训练通信不走 UPI。带宽量级大约每条链路几十 GB/s(具体视 CPU 型号与链路条数),远低于 NVLink,也通常低于一块 GPU 的整段 PCIe x16。
PCIe Gen5 与「交换芯片」
PCIe 是把 CPU、GPU、网卡、NVMe 等外设连在一起的标准总线。Gen5 单 lane 约 4 GB/s,x16 ≈ 64 GB/s / 方向(双向合计约 128 GB/s)。DGX / HGX 节点里,CPU 的 PCIe root 口不够直接挂 8 卡 + 8 网卡 + NVMe,所以中间加 PCIe 交换芯片(PCIe switch):一端接 CPU,另一端分出多条 x16 给 GPU、计算 NIC、NVMe。因此——是的,CPU ↔ GPU 的数据通路就是 PCIe(经交换芯片),用来做 H2D / D2H、dataloader 送数、checkpoint 从 HBM 拉回主机等。同时,同一颗交换芯片下的 GPU 与计算 NIC 还可以直通做 GPUDirect RDMA,不必先绕到 CPU。再强调:同节点 GPU ↔ GPU 仍走 NVLink,不走这块 PCIe 交换芯片当主干。