万卡集群训练大模型:
一个 step 里的数据流、瓶颈与软硬件算法协同优化
把一万张 GPU 变成「一台计算机」,难点不在于让每张卡都很快,而在于让最慢的那一环不拖垮整个集群。本文沿着一个训练 step 的生命周期:调度 → 数据 → 计算 → 通信 → 梯度更新 → checkpoint,逐段看数据在 GPU、内存、I/O 和网络之间怎么流转、卡在哪里,以及硬件、软件、算法三层分别能做什么。
0摘要:万卡训练在拼什么
同步数据并行训练中,每个 step 都是一次全局同步:step 时间 = 最慢的 rank 的时间。因此万卡训练的有效吞吐可以拆成一个乘积:
前一项由硬件决定,后两项是系统工程。本文要回答的就是:在这两个比例上,各环节的损失从哪里来,又分别由哪一层来补。
- 五个环节:资源调度与启动、数据加载、GPU 计算与并行通信、梯度同步与优化器、checkpoint 与容错。
- 三类资源:GPU(算力 / HBM)、主机内存与 I/O(DRAM / PCIe / 存储)、网络(NVLink / InfiniBand 或 RoCE)。
- 三层优化:硬件拓扑与互连,软件调度、运行时、通信库,算法并行策略、精度、调度算法。
1硬件架构:一个万卡集群长什么样
在看数据怎么流之前,先把「舞台」搭出来。公开资料里的万卡集群(Meta Llama 3 的 24K H100、字节 MegaScale、阿里 HPN、xAI Colossus、DeepSeek 萤火二号、NVIDIA DGX SuperPOD 参考架构)细节各不相同,但骨架高度一致:8 卡计算节点 × 上千台,用四张物理上分离的网络连起来,旁边挂一套独立的存储集群,再往外是冷数据所在的对象存储。本章把这些公开设计综合成一张通用图,后文所有环节都在这张图上发生。
展开:一个 SU 里 GPU 怎么接到 Leaf(rail-optimized)
图 H1 里每个 SU 顶上那一排 R0–R7 就是第 1 层 Leaf(也叫 rail leaf / Rx)。接法不是「整节点随便插一台交换机」,而是 rail-optimized:所有节点的同号 GPU 接到同一台 Leaf。
计算网络三层交换机的典型硬件参数(H100 / 400G 代;IB 与 RoCE 两条产品线口型相同,协议不同):
| 层 | 图中记号 | 典型交换机 | 端口与线速 | 怎么用口 |
|---|---|---|---|---|
| 第 1 层 Leaf | R0–R7 (rail leaf / Rx) |
IB:NVIDIA Quantum-2 QM9700 以太 RoCE:NVIDIA Spectrum-4(如 SN5600)或同级 25.6T 盒式交换机 |
64 × 400 Gb/s 整机交换容量 25.6 Tb/s |
每 SU 8 台(一 rail 一台)。无收敛时常见 32 口下行接 32 个节点的同号 NIC,32 口上行接 Spine。只在这一层直连 GPU/NIC。 |
| 第 2 层 Spine | Spine | 与 Leaf 同款 64×400G 盒式机(QM9700 / Spectrum-4 类) | 64 × 400 Gb/s 25.6 Tb/s |
不接 GPU。端口分给:下层各 Leaf 的上联 + 上层 Core。把多个 SU、8 个 rail 汇聚在同一 Pod 内。 |
| 第 3 层 Core | Core | 仍常用同款 64 × 400G;规模极大时可用更多台或更大端口交换机堆叠 | 64 × 400 Gb/s 25.6 Tb/s / 台 |
只接 Spine,做跨 Pod 骨干。两层 Fat-tree 够用时可以没有 Core。跨 Pod 常有收敛(如 Llama 3 的 1:7)。 |
计算节点内部:GPU、CPU、内存、NIC、NVMe 各在哪
以公开规格最完整的 DGX H100(HGX H100 8 卡板的 OEM 服务器结构基本相同)为例。关键不在于 CPU 有多少核,而在于谁和谁挂在同一个 PCIe 交换芯片下:GPU i 和它的计算网卡 NIC i 共享一个 PCIe 交换芯片,RDMA 数据直接从 HBM 到网卡,不经过 CPU 和主机内存。
- UPI(Ultra Path Interconnect)是两颗 CPU 插座之间的互连,不经过 GPU。一边 CPU 要访问另一边挂的内存 / 设备时走这里。详见附录 A。
- PCIe Gen5 交换芯片才是 CPU ↔ GPU / NIC / NVMe 的枢纽。H100 代常见为每条 x16 链路约 64 GB/s / 方向(≈ 128 GB/s 双向)。CPU↔GPU 的 H2D / D2H,以及下面说的「同组 GPU↔计算 NIC」,都走 PCIe。
- 「同组」=挂在同一颗 PCIe 交换芯片下的那对设备。图里每颗交换芯片下挂 2 张 GPU + 2 张计算 NIC:例如交换芯片 0 上是 GPU0/1 与 NIC0/1。训练时约定 GPUᵢ 主要用 NICᵢ 出计算网(接到 Rail Rᵢ)。这条路上的数据可以做 GPUDirect RDMA:从 GPU 的 HBM 经 PCIe 交换芯片直达 NIC,再上 IB/RoCE,不经过 CPU、也不进主机 DDR。
- 不是 8 卡互连的主干:同节点 GPU ↔ GPU 走底下的 NVLink / NVSwitch(~900 GB/s),比 PCIe 高一个数量级。
- 「每颗 PCIe 交换芯片 + NVMe ×2」不是「这两张 GPU 私有两块盘」,而是整机 8 块 U.2 数据盘均匀挂在 4 颗交换芯片上(每颗 2 块),和同芯片上的 2 GPU + 2 NIC 共享 PCIe 域。OS 仍在 M.2 系统盘。这样分散是为了 PCIe 带宽与 GPUDirect Storage 路径更均衡,见下。
| 部件 | 规格(DGX H100) | 在训练中干什么 |
|---|---|---|
| GPU × 8 | H100 SXM 80 GB HBM3,3.35 TB/s;功耗 700 W | 前向 / 反向 / 优化器;HBM 存放参数分片、激活、优化器状态 |
| NVSwitch × 4 | 每 GPU 18 条 NVLink4,合计 900 GB/s(双向) | 节点内 TP、EP、CP 的 all-reduce / all-to-all;PXN 转发 |
| CPU × 2 | Xeon Platinum 8480C,共 112 核 | DataLoader worker、NCCL proxy 线程、launcher、checkpoint 序列化 |
| 主机内存 | 2 TB DDR5 | pinned 数据缓冲、内存 checkpoint 快照、页缓存 |
| 计算 NIC × 8 | ConnectX-7 单口 400 Gb/s,经 4 个 OSFP 双口笼子引出 | GPU i ↔ rail i,GPUDirect RDMA |
| 存储 / 带内 NIC | 2 张双口 ConnectX-7(每口最高 400 Gb/s) | 读训练数据、写 checkpoint、拉镜像;实务上常只启用其中若干口连存储网 / 前端网 |
| 本地 NVMe | 8 × 3.84 TB U.2(约 30 TB,数据盘)+ 2 × 1.92 TB M.2(系统盘) | 数据缓存、镜像缓存、本地 checkpoint 暂存 |
| BMC | 1 GbE 管理口 | 带外上下电、传感器、固件 |
| 整机功耗 | 最大约 10.2 kW | 决定每机柜放几台、要不要液冷 |
GPU 通信:不同范围走哪条路、多快
集合通信的范围越大,跳数越多、单卡有效带宽越低。本节把路径动画与范围对照表合在一起:先看数据包怎么走,再对照设备、带宽与适合放的并行类型(图 H1 橙色计算网;节点内为 NVLink)。
同一节内的文字对照(节点内 NVLink;其余为橙色计算网):
| 通信范围 | 典型路径 | 经过哪些设备 | 单卡带宽量级 | 训练里通常放什么 |
|---|---|---|---|---|
| 同一节点内 8 卡(或 NVL72 同柜) |
GPUᵢ ─NVLink→ NVSwitch ─NVLink→ GPUⱼ |
只经 NVSwitch,不经 NIC / Leaf | ~900 GB/s(H100) ~1.8 TB/s(B200 NVL) |
通信最重的 TP / EP / CP;PXN 转发也走这里 |
| 同一 SU、不同节点 ~32 节点 / 256 卡 |
同号:GPUᵢ→NICᵢ→Leaf Rᵢ→对端跨号(默认 PXN):先本机 NVLink 转到同号卡,再出对应 Rail |
NIC + 一台 rail Leaf(Rᵢ);默认不经 Spine | 400 Gb/s ≈ 50 GB/s/卡 | 同 SU 内的 DP 分片、较小跨节点 PP;同号 GPU 一跳可达 |
| 不同 SU、同一 Pod | …→ Leaf Rᵢ → Spine → Leaf Rᵢ → …(跨号仍可先 PXN 对齐 rail) |
NIC + Leaf + Spine;仍不经 Core | 仍受 400 Gb/s/卡限制,但竞争与尾延迟上升 | Pod 内 PP、较大规模 DP;尽量把重通信留在 SU / NVLink 域内 |
| 不同 Pod / 整集群 | …→ Leaf → Spine → Core → Spine → Leaf → … |
再经 Core(跨 Pod 骨干);顶层常有收敛(如 Llama 3 跨 Pod 1:7) | 有效带宽常低于线速,易成掉队者来源 | 只放最轻的 DP all-reduce;TP / EP / PP 不要跨 Pod |
| 更大:跨机房 / 跨地域 | 一般不跑同步训练 step 的集合通信 | 走蓝色前端网 / DCI,不是橙色计算网 | 远低于 IB/RoCE 机房内带宽 | 数据摄入、checkpoint 复制、多机房异步;同步万卡作业通常不跨此边界 |
四张网络:为什么要物理分开
同一台计算节点上通常插着 3 类网卡,分别连到不同的网络。分开的根本原因是流量特征完全不同:集合通信是同步、突发、对尾延迟极度敏感的 all-reduce / all-to-all,任何一点别的流量混进来都会拖慢整个 step;而读数据、拉镜像、写日志是持续的后台流量。
| 网络 | 连谁 | 每节点带宽(H100 代) | 典型技术与拓扑 |
|---|---|---|---|
| 计算网络 (后端 / scale-out) | 每张 GPU 一张专用 NIC,连到对应 rail leaf | 8 × 400 Gb/s = 3.2 Tb/s (B200/GB300 代升到 8 × 800G) | InfiniBand NDR 或 RoCEv2 以太网;rail-optimized 两到三层 Fat-tree(Clos),无收敛或低收敛;GPUDirect RDMA(名词见附录 A) |
| 存储网络 | 节点上通常 1–2 张 NIC,各出 1 条(或双口卡出 2 条)链路 ↔ 存储集群 | 常见:2 条 × 200 Gb/s,或更高档 2 条 × 400 Gb/s(不是「2×200 再乘到 400」) | 独立的 IB / 以太网 fabric;双上联为了带宽叠加 + 冗余。部分设计(如 DeepSeek 萤火二号)与计算网合并以省成本 |
| 前端网络 (带内管理) | 节点 ↔ 登录 / 调度节点、镜像仓库、对象存储、互联网 | 25–200 Gb/s | 普通数据中心以太网;有时占用存储双口 NIC 的另一个口,此时「2 条」里一条走存储、一条走前端 |
| 带外管理网 | BMC、PDU、交换机管理口 | 1 Gb/s | 独立的低速以太网;节点宕机时仍能远程上电、看日志、刷固件 |
从 8 卡到一万卡:四级规模
| 层级 | 规模 | 怎么连 | 设计要点 |
|---|---|---|---|
| NVLink 域 | 8 卡(HGX) 72 卡(NVL72) | NVSwitch,900 GB/s – 1.8 TB/s 每卡 | 带宽比 scale-out 网络高约一个数量级,放通信最重的 TP / EP |
| SU / 机柜组 | 32 节点 · 256 卡 | 8 台 rail leaf,每台 32 口下行、32 口上行(64 口 400G 交换机) | 同 SU 同号 GPU 一跳可达;PXN 把跨号流量也变成一跳 |
| Pod / 集群网段 | 2K – 15K 卡 | spine 层把多个 SU、8 个 rail 互连,通常全对分带宽 | Llama 3:每 Pod 3,072 卡、无收敛;阿里 HPN:双平面两层网络单 Pod 1.5 万卡 |
| 整个集群 | 1 万 – 10 万卡 | core / aggregation 层把多个 Pod 连起来 | 常有收敛(Llama 3 跨 Pod 为 1:7),因此调度要把 TP / PP 放在 Pod 内,只让 DP 流量跨 Pod |
交互:一万张卡要多少交换机和光模块?
无收敛 Fat-tree 有个简单的容量公式:用 k 口交换机,两层最多接 k²/2 个端点,三层最多 k³/4 个。64 口 400G 交换机(25.6 Tb/s 芯片)两层只能接 2,048 张卡,所以单平面的万卡网络必须三层(多出来的那一层就是上面说的 Core)。一个常见的绕法是多平面:8 个 rail 各自成为独立的网络平面,每个平面只需接 N/8 个端点,跨 rail 的流量交给节点内的 NVLink(PXN)。改下面的参数可以看到层数、交换机数和光模块数怎么变。
存储服务放在哪
存储是分层的,越靠近 GPU 越快、越小、越贵。下表从 GPU 往外数,标出每一层物理上在哪和靠什么连;第 2 章的路径动画和第 3 章的 I/O 图会再展开数据在这些层之间怎么搬。
| 层 | 物理位置 | 连接方式 | 容量 / 带宽量级 | 公开案例 |
|---|---|---|---|---|
| HBM | GPU 封装内 | 片上 | 80–192 GB/卡;3–8 TB/s | H100 80 GB,B200 192 GB |
| 主机内存 | 计算节点主板 | PCIe Gen5(x86)或 NVLink-C2C(Grace) | 1–2 TB/节点 | DGX H100 2 TB DDR5;Grace 480 GB LPDDR5X |
| 本地 NVMe | 计算节点内 | PCIe | 约 30 TB/节点;数十 GB/s | DGX H100 8 × 3.84 TB |
| 热层存储集群 | 同一机房的独立存储机柜 | 存储网络(或与计算网合并) | PB 级;聚合 TB/s | Meta Tectonic:7,500 台服务器、240 PB,持续 2 TB/s、峰值 7 TB/s;DeepSeek 3FS:180 个存储节点(每台 16 块 NVMe、2 × 200G IB),读约 6.6 TiB/s |
| 冷层对象存储 | 别的楼 / 别的地域 | 前端网络、数据中心互联 | EB 级;单流慢、总吞吐受出口带宽限制 | S3 / OSS / GCS;原始语料、视频库、长期 checkpoint |
公开万卡集群对照
| 集群 | 规模 | 节点 / 机柜 | 计算网络 | 拓扑要点 | 存储 |
|---|---|---|---|---|---|
| Meta Llama 3 训练集群 | 24K H100(405B 用 16K) | Grand Teton 8 卡,每柜 2 台共 16 卡 | RoCE 400G(另有一套同规模 IB 集群) | ToR → Cluster Switch(Pod 3,072 卡,无收敛)→ Aggregation(8 个 Pod,1:7 收敛) | Tectonic,240 PB |
| 字节 MegaScale | 1.2 万卡以上 | 8 卡节点 | 以太网 RoCE,每卡 400G | 三层 Clos,25.6T 交换芯片,每层上下行 1:1(32 口下、32 口上) | HDFS 等 |
| 阿里 HPN | 单 Pod 1.5 万卡 | 8 卡节点,每卡 2 × 200G | 以太网 RoCE | 双上联(每卡连两台 ToR)+ 双平面,两层即达万卡;前后端网络分离 | 独立前端存储网 |
| xAI Colossus | 10 万 H100(一期) | 液冷 8 卡服务器,每柜 64 卡 | Spectrum-X 以太网,每卡 400G BlueField-3 SuperNIC | 超大规模单一 RDMA 以太网 | 未详细公开 |
| DeepSeek 萤火二号 | 约 1 万 PCIe A100 | 8 卡节点,1 张 200G IB | InfiniBand | 两层 Fat-tree,计算与存储同网,以降低成本 | 3FS,读约 6.6 TiB/s |
| NVIDIA DGX SuperPOD(H100 参考架构) | 按 SU 扩展,每 SU 256 卡 | DGX H100 | InfiniBand NDR 400G | rail-optimized leaf / spine / core;计算、存储、带内、带外四网分离 | 认证的并行文件系统 |
机房:电和冷却也是硬约束
按 DGX H100 最大 10.2 kW 估算,一万张 H100 约 1,250 台节点,仅计算节点峰值就约 12.8 MW;加上网络、存储和制冷(PUE 1.1–1.4),整栋机房通常按 15–25 MW 规划(估算)。风冷机柜一般只能放 2–4 台 8 卡服务器,所以万卡集群往往铺满数百个机柜,计算网络的大量链路因此必须走光纤;GB200 NVL72 这类 120 kW 机柜则必须液冷。机房的物理排布反过来决定了 SU 怎么划分、哪些链路能用铜缆,也间接决定了 §4.1 调度时的「拓扑感知」要感知什么。
2训练 pipeline 的硬件路径:数据在第 1 章的图上怎么走
第 1 章讲清了部件、链路和速率。本章把训练里的几条 pipeline 一条条放到这张图上走一遍:每条 pipeline 依次经过哪些部件、每一跳走哪种链路、多快、瓶颈卡在哪一跳。先从 checkpoint 加载开始,训练数据加载、前反向集合通信、checkpoint 写回会按同样的方式逐节补上。
2.1Checkpoint 加载:从冷存储到 GPU HBM
续训、故障重启、换并行配置后恢复,都要把 checkpoint 从存储搬回每张卡的 HBM。下面用一个具体配置算账,再用动画逐跳展示路径。
| 假设 | 取值(示意,按 Llama 3 405B 量级) |
|---|---|
| 规模与并行 | 16,384 张 H100 = 2,048 节点;TP=8(节点内)× PP=16 × DP=128。一个节点 = 一个 PP stage 的完整 TP 组,同一 stage 有 128 个 DP 副本,分布在 128 个节点上 |
| checkpoint 内容 | BF16 权重 ≈ 0.81 TB;FP32 主权重 + Adam m / v ≈ 4.86 TB;合计 ≈ 5.7 TB(梯度不存) |
| 每节点要装进 HBM 的量 (checkpoint 加载) | 权重:0.81 TB / 16 stage ≈ 50.6 GB(每卡 6.3 GB),128 个 DP 副本完全相同;优化器状态按分布式优化器(ZeRO-1)切到各 DP rank:4.86 TB / 2,048 ≈ 2.4 GB(每卡 ≈ 0.3 GB),每个节点都不一样。加载合计每卡 ≈ 6.6 GB(梯度不进 checkpoint) |
| 训练时每卡 HBM (H100 80 GB,示意) | 见下表:模型状态常驻约 13 GB;其余主要是激活、通信缓冲与碎片。长序列时激活常占满剩余几十 GB |
| 存储侧 | 热层并行 FS 聚合读 ≈ 2 TB/s(全集群共享);每节点存储 NIC 2 × 200 Gb/s ≈ 50 GB/s |
| 每卡 HBM 占用 | 量级 | 怎么除出来 | 说明 |
|---|---|---|---|
| BF16 权重 W | ≈ 6.3 GB | 0.81 TB ÷ (TP×PP) = ÷128 | DP 间复制,不随 DP 变小;checkpoint 要加载 |
| BF16 梯度 ∂W | ≈ 6.3 GB | 与本卡权重同形 | 训练中产生,不进 checkpoint;分布式优化器 reduce-scatter 后可再压到 ≈ 6.3/DP,峰值仍常按满额计 |
| FP32 主权重 + Adam m/v | ≈ 0.3 GB | 4.86 TB ÷ 16,384 卡 | ZeRO-1 按 DP 切开;checkpoint 要加载 |
| 模型状态小计 | ≈ 13 GB | 6.3+6.3+0.3 | 相对 80 GB 只占一小块;无 ZeRO 时优化器会暴涨到每卡数 GB~数十 GB |
| 激活(含重计算策略) | ≈ 30–55 GB | 随 micro-batch、序列长、checkpoint 粒度变 | 前向要留给反向的中间值;selective recomputation / FlashAttention 用来压这项。405B 长序列时通常是显存第一大头 |
| 通信 / CUDA / 碎片 | ≈ 5–15 GB | — | NCCL 缓冲、CUDA context、allocator 碎片、临时 workspace |
| 合计(训练稳态) | ≈ 55–75 GB / 80 GB | — | checkpoint 加载只带回 ≈6.6 GB;开训后梯度 + 激活 + 缓冲把卡基本填满 |
动画:16,384 张卡怎么摆——哪些在同一节点、同一 SU、同一 Pod
按第 1 章的规模层级示意:1 SU = 32 节点 = 256 卡;1 Pod = 8 SU = 2,048 卡(64 口交换机两层 Fat-tree 的上限 k²/2);全集群 8 Pod。放置规则是「越重的通信放得越近」:TP 锁在节点内,一条完整 PP 流水线(16 节点)锁在 SU 内,DP 向外铺。给定副本号 r 和 stage 号 k:节点号 = 16r + k,SU = ⌊r/2⌋,Pod = ⌊r/16⌋。每一步会标明这条路径上传的是什么:TP 传激活/梯度片段,PP 传边界激活,DP 训练时传梯度(常再传参数)、加载时传权重。
动画:checkpoint 从冷存储一路走到 HBM
画面是第 1 章图 H1 / H2 的简化:左侧冷层与热层存储,右侧两个计算节点(每节点画 4 张卡代表 8 张),中间是计算网的 Rail Leaf。上方的「路径条」显示整条链路,当前这一跳高亮、走过的跳变绿;图中已走过的链路保留为浅色实线,所以播完时能看到整条路径。紫色、青色两步是可选分支。
逐跳对照:链路、带宽和本例耗时
| 跳 | 链路 / 部件 | 带宽量级 | 本例数据量 | 耗时(估算)与要点 |
|---|---|---|---|---|
| ① 冷层 → 热层 | 前端网 / 数据中心互联 | 数十 GB/s(如 400 Gb/s ≈ 50 GB/s) | 5.7 TB | ≈ 2 分钟,开训前预热完成,不放在重启关键路径上 |
| ② 热层 → 节点 | 存储节点 NVMe → 存储网交换机 → 计算节点存储 NIC | 每节点 ≈ 50 GB/s;全集群共享 ≈ 2 TB/s | 全集群 5.7 TB;副本 0 节点 53 GB,其余 2.4 GB | ≈ 3 s;瓶颈是聚合带宽和元数据,不是单节点网卡 |
| ③ NIC → DRAM | PCIe x16 DMA → CPU root → DDR5 | 64 GB/s / 方向 | ≤ 53 GB / 节点 | ≈ 1 s,通常与 ② 流水重叠 |
| ④ 反序列化 | CPU + DDR5 | 数 GB/s – 数十 GB/s(取决于格式、是否零拷贝 mmap) | ≤ 53 GB / 节点 | 数秒到数十秒,常被低估;改并行配置时还要 reshard |
| ⑤ H2D | DRAM → CPU root → PCIe 交换芯片 → HBM | 64 GB/s / 卡;同一交换芯片的 2 卡共享上行 | 每卡 ≈ 6.6 GB | ≈ 0.1–0.2 s |
| ⑥ GDS(可选) | 存储 NIC → PCIe 交换芯片 → HBM | 同上,省掉 DRAM 中转和一次 CPU 拷贝 | 同上 | 省 ③④ 的拷贝,但格式必须能直接按张量落位 |
| ⑦ DP 广播 | GPU → 计算 NIC → Rail Leaf(→ Spine / Core)→ 对端 NIC → GPU | 400 Gb/s ≈ 50 GB/s / 卡 | 每卡 6.3 GB | ≈ 0.15 s + 跨 Pod 收敛;同号 GPU 同一条 rail |
| ⑧ 本地 NVMe(可选) | DRAM → PCIe 交换芯片 → U.2 数据盘 | 整机 ~20–50 GB/s | ≤ 53 GB / 节点 | 异步写;下次同一节点重启直接读本地盘,不再打热层 |
3全景:一个 step 的数据流
先看一个典型的 DGX H100 节点(8 卡)及其在万卡集群中的位置。标红编号是后文逐节展开的五类瓶颈。
R0–R7、Spine,以及「GPU0 → 另一节点 GPU1」怎么走
R0–R7 是 8 台 leaf 交换机(rail)。每个 DGX 节点的 8 根 400G 线分别接到 8 台不同的 leaf:GPU0 的 NIC0 接 R0,GPU1 的 NIC1 接 R1,……。一台 leaf 端口有限(常见约 32 口下行),所以同一组 R0–R7 只覆盖一个 SU(约 32 节点 / 256 卡)。Spine 是上一层交换机:把 8 台 rail 互连,也把多个 SU 互连。
因此「GPU0 与另一节点的 GPU1 怎么通信」取决于两点:① 两节点是否在同一 SU;② NCCL 是否启用 PXN(Peer eXchange over NVLink,DGX 上默认开启)。
A.GPU0 ─NVLink→ A.GPU1 ─NIC1→ R1 ─一跳→ B.NIC1 → B.GPU1只经过 R1,不经过 Spine。若关闭 PXN,才会变成
R0 → Spine → R1。若两节点不在同一 SU,则无论同号还是跨号,都必须经过 Spine。
存储 I/O:多机多卡怎么从 S3 读到 HBM
计算网络解决「卡和卡之间」,存储 I/O 解决「数据和 checkpoint 从哪来、到哪去」。真实集群几乎都是三层存储:冷层的对象存储(S3 / OSS / GCS,容量最大、最慢),热层的并行文件系统或分布式缓存(NVMe 集群,TB/s 级),以及节点本地的 NVMe 与内存。训练进程读到的数据,绝大多数应当来自热层或本地,而不是直接打到 S3。
各层的量级:越靠近 GPU 越快、越小
| 层级 | 典型实现 | 容量 | 带宽(量级) | 延迟 | 放什么 |
|---|---|---|---|---|---|
| 冷层:对象存储 | S3 / OSS / Ceph | PB–EB | 集群级取决于并发与限流;单连接 ~0.1 GB/s | 10–100 ms | 全部原始数据、归档 checkpoint |
| 热层:并行 FS / 缓存 | 3FS / Lustre / WEKA / JuiceFS | 10–100 PB | 聚合 1–7 TB/s | 0.1–1 ms | 当前阶段训练集、近期 checkpoint |
| 存储网卡(每节点) | 1–2 × 200/400G | — | 25–100 GB/s | µs 级 | — |
| 本地 NVMe | DGX:8 × 3.84 TB | ~30 TB | ~20–50 GB/s | ~100 µs | shard 缓存、checkpoint 暂存 |
| 主机内存 | 2 TB DRAM | 2 TB | 数百 GB/s | ~100 ns | page cache、预取队列、pinned 缓冲、内存快照 |
| GPU HBM | HBM3 | 80 GB × 8 | 3.35 TB/s / 卡 | — | 当前 batch |
热层的数据什么时候装进来:数据生命周期
热层不是一个「被动缓存」,而是一块按计划装填的暂存区。原因很简单:大模型预训练的数据通常只过 1–2 遍,视频甚至不到一遍,「读一次、缓存住、下次命中」的缓存逻辑几乎用不上。如果靠读时回源,每个样本都要付一次回源代价;冷启动时上万节点同时回源,就会形成图 1c 里 I1、I6 那样的风暴。所以万卡训练的主流做法是:开训前按阶段批量预热,训练中按读取顺序滚动预取,读时回源只作兜底。
四种装载方式
| 时机 | 做法 | 典型实现 | 适合的场景 |
|---|---|---|---|
| 训练前批量预热(主力) | 按数据配比把本阶段要用的 shard 整批拷进热层,校验完整后再开训 | aws s3 sync / distcp 拷进 Lustre、3FS;JuiceFS warmup;Alluxio load;FSx for Lustre 预加载 | 大规模预训练;本阶段数据集放得进热层(10–100 PB) |
| 训练中滚动预取 | sampler 是确定性的,未来要读哪些 shard 事先已知,提前 N 个拉到热层或本地 NVMe,读完淘汰 | 自研 prefetcher、MosaicML Streaming、WebDataset 加缓存 | 数据集远大于热层,例如 PB 级视频 |
| 读时回源 | 第一次访问未命中就从 S3 拉回并缓存,按 LRU 淘汰 | JuiceFS / Alluxio / Fluid 缓存;FSx for Lustre 关联 S3 后的懒加载 | 小规模、多轮迭代、实验性任务 |
| 写入时即落热层 | ETL 产出先写热层供训练使用,再异步归档到冷层 | Lustre HSM 归档、分层存储策略 | 数据管线与训练集群在同一机房 |
热层和冷层,区别到底在哪
最根本的区别不是用了哪个产品,而是角色:冷层是数据唯一可信的来源,追求便宜和持久;热层是贴着 GPU 的工作集,追求带宽和延迟,丢了可以从冷层重建。介质、协议、语义、管理方式上的差异,都是从这个角色差异推出来的。
| 维度 | 冷层(S3 / OSS / Ceph RGW) | 热层(3FS / Lustre / WEKA / GPFS / 缓存) |
|---|---|---|
| 角色 | 唯一可信来源,永久保存 | 当前训练的工作集,可以重建 |
| 介质 | 高密度 HDD 为主,每台服务器几十到上百块盘 | 全闪 NVMe,每台约 10–20 块盘 |
| 冗余 | 纠删码(如 8+3)、跨可用区,追求极高持久性 | 条带化换并行带宽;副本或链式复制保可用性,持久性要求较低,纯缓存甚至允许丢失 |
| 协议与位置 | HTTP REST over TCP,经网关 / 负载均衡;常在另一机房甚至另一地域 | RDMA(IB / RoCE)原生客户端,或内核 / FUSE 客户端;与 GPU 集群同机房 |
| 语义 | 扁平 key-value;对象不可变,不能 rename / append;LIST 分页 | POSIX 目录树,支持 open / seek / mmap / 随机读;依赖专门的元数据服务(MDS,或 3FS 的 FoundationDB) |
| 单客户端性能 | 单连接约 0.1 GB/s,首字节 10–100 ms,按前缀限流 | 数 GB/s 到数十 GB/s,亚毫秒延迟 |
| 集群性能 | 聚合吞吐靠海量并发堆出来,延迟高 | 聚合 1–7 TB/s,IOPS 高,小文件也扛得住 |
| 容量与成本 | PB–EB,每 TB 最便宜 | 10–100 PB,每 TB 贵数倍乃至一个数量级 |
| 管理方式 | 生命周期策略、版本、权限审计、跨区复制;由数据治理团队管理 | 按项目 / 作业配额,显式预热与淘汰,与调度器联动(如 K8s 上 Fluid 的 Dataset + 数据亲和调度);由训练平台管理 |
交互:你的训练任务,I/O 瓶颈在哪?
I/O 压力不取决于「数据集有多大」,而取决于每秒要消费多少样本、每个样本多大、要不要解码、文件是否切成大 shard。同一个世界模型,低分辨率预训练阶段和高分辨率阶段的瓶颈可以完全不同。选一个预设,或自己改参数。
真实场景里常见的坑
- 小文件:一张图一个对象,S3 请求数和 MDS open/stat 先于带宽成为瓶颈。切成 0.1–1 GB 的 tar / Parquet shard,请求数可下降 3–4 个数量级。
- 全局 shuffle:样本级随机读会摧毁顺序读带宽。做法是 shard 级打乱 + worker 内缓冲区打乱,近似全局随机。
- 组内重复读取:TP / CP 组的 8 张卡各自起 DataLoader,读取量和解码量都放大 8 倍。应由组内一个 rank 读取再广播,或者用节点级共享 loader。
- 为低分辨率训练解码高分辨率源:256p 训练却每次解码 1080p 原片,再加上 GOP 寻址放大,CPU 被吃光。可以离线转出低分辨率副本,或改用 NVDEC。
- Python worker 开销:worker 进程多了,内存和 IPC 拷贝放大;worker 少了,又喂不饱 GPU。要配合 pinned 内存、共享内存与 NUMA 绑核。
启动与恢复的「读风暴」
- Python import 风暴:上万进程同时从 NFS 加载 site-packages,元数据服务器被打爆。做法是把环境打进容器镜像放到本地,或使用镜像懒加载。
- 数据集索引:每个 rank 都去 LIST 一遍目录或读一遍大索引文件。应离线生成 manifest,由 rank 0 读取后广播。
- Checkpoint 加载:405B 的完整训练状态约 5.7 TB。即便热层有 2 TB/s,加上 open 开销和带宽争抢,加载时间仍以分钟计。更好的做法是每个 DP 副本只读一份分片,再经计算网广播。计算网每节点约 400 GB/s,是存储网卡的 4–8 倍,或者直接从邻居节点的内存快照恢复。
- 预热:下一阶段的数据提前从 S3 拉到热层或本地 NVMe,避免训练开始时整个集群一起回源。
动画:一个训练 step 的生命周期
下面用 4 个节点演示「TP=8(节点内)× PP=2(横向)× DP=2(纵向)」的最小切分。每 3 个 step 触发一次 checkpoint。可以直接录制成 .webm 视频,嵌进 PPT 或文章。
4训练 pipeline 详解
硬件和「一个 step 长什么样」已经清楚了。本章按训练作业的真实流水线,把五个环节拆开:调度启动 → 数据加载 → GPU 计算与多维并行 → 梯度同步与优化器 → Checkpoint / 容错。每一节都按同一模板写——数据怎么流转、卡在哪、硬件 / 软件 / 算法各自能做什么——方便和第 0 章的 MFU × 有效时间公式对照。
4.1资源调度与作业启动 1
万卡作业 ≈ 1,250+ 节点、10,000+ 进程,必须全有或全无地同时拿到(gang scheduling)。调度器做的不只是「分卡」,还决定了后面的通信效率和故障率。
流转与瓶颈
- 拓扑碎片:TP/EP 组必须在节点内,PP/CP 组最好在同一 leaf 或 pod 内;放置散了,跨 spine 流量增多,拥塞概率上升。
- 坏节点混入:一张「亚健康」GPU(降频、ECC 错、链路抖动)会让全体等它,变成永久的掉队者。
- 启动开销:镜像拉取、Python import、NCCL communicator 初始化、加载 checkpoint。MegaScale 报告未优化时 2,048 卡初始化需要 1,047 s。
协同优化
- 硬件rail-optimized 组网,按 pod 预留,热备节点池(比如保留 1–3% 冗余)。
- 软件拓扑感知放置(rank 到物理位置的映射)、上线前 burn-in(GEMM、NCCL all-reduce、DCGM diag、IB 链路检查)、镜像 P2P 分发与懒加载、通信组并行建链(MegaScale 将 2,048 卡初始化降到 5 s 以内,万卡以上低于 30 s)。
- 算法按并行维度通信量排序后映射 rank(TP 最内层、DP 最外层)。
4.2数据加载 2
数据路径:共享存储 → 本地 NVMe 缓存 → CPU(解码、tokenize、packing)→ pinned 内存 → PCIe H2D → GPU HBM。LLM 和世界模型在这一环差别最大。
动画:权重和数据是怎么走到每张 GPU 的 HBM 里的
下面把第 1 章的硬件图简化成「存储集群 + 两个计算节点 + 计算网 rail leaf」,用流动的点表示数据。点击按钮选择场景,可以自动播放,也可以逐步查看;点击右侧步骤可以直接跳到那一步。
LLM:带宽不是问题,「正确性」和「随机读」才是
- Llama 3 一个 step 16M tokens,以 uint32 存储只有 64 MB,均摊到每卡几 KB。
- 真实痛点:海量小文件或随机读引发的元数据压力、启动时扫描索引耗时、断点续训时 sampler 状态必须精确恢复(否则数据重复或遗漏)。
- sequence packing 加上文档级 attention mask,避免 padding 浪费。
- 只有 TP rank 0 读取后广播;PP 只有首尾 stage 需要输入和标签。
世界模型:解码和预处理可能比训练还贵
- 原始视频每样本几 MB 到几十 MB;在低分辨率、小模型阶段,CPU 软解 1080p 源片(加上 GOP 寻址放大)常常跟不上 8 张 H100 的消耗速度(见图 1e)。
- 方案一:离线预编码 latent(VAE / tokenizer 离线跑完),训练时只读 latent,存储增加,在线计算降低。
- 方案二:GPU 解码(NVDEC / DALI),把解码挪到 GPU 上,但会占用 SM 和 HBM。
- 多分辨率、多时长样本会导致各卡负载不均,需要按 token 数分桶,并在 DP 组内做负载均衡。
non_blocking H2D)。只要有一个 rank 在等数据,所有卡都在等。4.3GPU 计算与多维并行 34
405B 模型的训练状态(BF16 权重、梯度,FP32 主权重和 Adam 两阶矩,约 16 B/参数)≈ 6.5 TB,远超单卡 80 GB,所以必须切分。每多切一刀,就多一类通信。
| 并行维度 | 切什么 | 通信原语 | 每 step 通信量(量级) | 链路 | 能否与计算重叠 |
|---|---|---|---|---|---|
| TP 张量并行 | 层内矩阵 | all-reduce(或 RS+AG,SP) | 每层前向 2 次、反向 2 次,每次 b·s·h | NVLink | 难,需要 GEMM 与通信细粒度重叠 |
| CP 上下文并行 | 序列维 | KV ring P2P / all-gather | 每层 KV 块 | NVLink / IB | 较易,可与 attention 分块计算重叠 |
| PP 流水并行 | 层间 | P2P send/recv | 每个 micro-batch 在 stage 边界传 b·s·h | IB | 通信容易重叠,代价是气泡 |
| EP 专家并行 | MoE 专家 | all-to-all | 每个 MoE 层前向 2 次、反向 2 次 | NVLink / IB | 难,需要 DualPipe 类调度 |
| DP / FSDP | 样本 / 状态分片 | reduce-scatter + all-gather | ≈ 2× 本地参数量(每 step) | IB(跨 pod) | 易,按 bucket 与反向重叠 |
专讲 PP:为什么要切、一个 SU(32×8 卡)怎么切
上面表格里 PP 一行只有结论。这里用一个 SU = 32 节点 × 每节点 8 卡 = 256 GPU,对照 Llama 3 405B 量级,把「深度方向装不下 → 按层跨节点切开 → micro-batch 流水线」串起来。点按钮看动画。
整模状态 405B × 16 B ≈ 6.48 TB。PP 按层切成 32 份后,每个节点只永久持有约 1/32(节点内再被 TP=8 均分到 8 卡):
| 状态 | 精度 | 整模 | 每节点(÷32) | 每卡(再÷8) | 会跨节点传吗? |
|---|---|---|---|---|---|
| 权重 W | BF16 | ≈ 810 GB | ≈ 25.3 GB | ≈ 3.2 GB | 否(留在本 stage) |
| 梯度 ∂L/∂W | BF16 | ≈ 810 GB | ≈ 25.3 GB | ≈ 3.2 GB | 否(DP=1 时本节点自己更新;DP>1 才在副本间同步) |
| 主权重 | FP32 | ≈ 1.62 TB | ≈ 50.6 GB | ≈ 6.3 GB | 否 |
| Adam m | FP32 | ≈ 1.62 TB | ≈ 50.6 GB | ≈ 6.3 GB | 否 |
| Adam v | FP32 | ≈ 1.62 TB | ≈ 50.6 GB | ≈ 6.3 GB | 否 |
| 合计(状态) | — | ≈ 6.5 TB | ≈ 202.5 GB/节点 | ≈ 25.3 GB/卡 | 状态本身不跨 PP 边界搬运 |
| 前向激活 | BF16 | — | 边界一次 ≈ b·s·h·2 | TP 组内再切/还原 | 是 · Stage i → i+1 |
| 反向激活梯度 | BF16 | — | 同上量级 | 同上 | 是 · Stage i+1 → i |
激活体积举例:取 micro-batch b=1、序列 s=8192、hidden h=16384(405B 量级),BF16 下一次边界传输 ≈ 1×8192×16384×2 B ≈ 268 MB。这和「把 25 GB 权重搬到邻机」完全不是一回事。节点内 TP 的 all-reduce 走 NVLink,也不算跨节点 PP 流量。
专讲 TP:一层矩阵怎么切到 8 卡、前向/反向传什么
PP 把不同层分到不同节点;TP 把同一层里的大矩阵切到同一节点的 8 张 GPU。下面动画仍用同一套设定:TP=8 · 节点内 NVLink,micro-batch b=1,s=8192,h=16384,BF16(一次 all-reduce ≈ 268 MB)。
同一节点内:为什么用 TP,而不是把 8 卡做成 PP?
看完上面的 TP 动画,容易问:节点里也有很快的 NVLink,为什么不把 8 张卡串成 PP=8?结论是——不是 TP 处处优于 PP,而是「节点内二选一」时 TP 通常明显更合适;PP 的主场在跨出 NVLink 域之后。
| 维度 | 节点内 TP=8 | 节点内 PP=8(每卡一个 stage) |
|---|---|---|
| 在干什么 | 8 卡同时算同一层的不同分片 | 8 卡按层排队:算完再把激活交给下一张卡 |
| 通信走哪 | NVLink 集合通信(密,但链路够快) | 也可以走 NVLink(链路不慢) |
| 主要浪费 | 集合通信本身(NVLink 通常扛得住) | 流水线气泡:大量时间在等前后 stage |
| GPU 利用率 | 8 卡一起忙 | 容易出现「只有 1~2 张卡在算」 |
| 气泡量级 | 无 PP 气泡 | ≈ (p−1)/(m+p−1);例如 p=8,m=8 → 约 47% |
| 层内大 GEMM | 天生适合切宽度 | 每 stage 只剩 1 卡,层内没有并行 |
| 填气泡的代价 | — | 需要更多 micro-batch → 全局 batch 更大/更碎,调参更烦 |
业界默认摆法也与此一致:NVLink 域内优先 TP(以及 MoE 的 EP);PP 留给域与域之间。节点很大(如 NVL72)时,仍然是「域内尽量 TP,域间再 PP」,而不是在域内优先铺满 PP。
交互:流水线气泡有多大?
单卡算力:MFU 的天花板
- 硬件Tensor Core 与 FP8(H100 FP8 稠密约为 BF16 的 2 倍)、更大的 HBM 带宽。
- 软件FlashAttention、融合算子(RMSNorm、RoPE、SwiGLU)、CUDA Graph 降低 launch 开销、torch.compile。
- 算法选择性重计算(以算换存)、FP8 细粒度缩放(DeepSeek-V3)、让 hidden 维和 head 维对齐 Tensor Core 的 tile 形状。
4.4梯度同步与优化器更新 4
反向结束后,每个 DP 组要把梯度规约(reduce-scatter),各自更新本地那一片优化器状态(ZeRO-1 / 分布式优化器),再把新参数 all-gather 回来。关键在于不要让这段通信单独占一截时间。
流转与瓶颈
- DP 跨 SU / 跨 pod 必须走 Spine,是带宽最低、最易拥塞的一层,还要和跨 SU 的 PP / EP 流量争抢。
- 同 SU 内跨号 GPU 通信靠 PXN 走目标 rail,不占 Spine;但 PXN 会占用节点内 NVLink 带宽,与 TP 争抢。
- 梯度裁剪需要全局 norm,即一次全局标量 all-reduce,这是一个隐蔽的全局同步点。
- 掉队者:同步训练下,任何一张卡慢 10%,整个集群就慢 10%。
- 网络拥塞与 ECMP 哈希冲突大多发生在 Spine / 汇聚层。
协同优化
- 硬件rail-optimized、SHARP 网内规约、NVLS、自适应路由、多平面网络(Alibaba HPN);控制 Spine 收敛比。
- 软件PXN、bucket 重叠、层次化集合通信(节点内 NVLink 先 RS,再跨节点)、NCCL 通道与流调优、掉队者检测。
- 算法BF16 / FP8 梯度通信、ZeRO 分片、loss spike 时跳过该 step、本地 SGD / DiLoCo 等低频同步(前沿方向)。
4.5Checkpoint 与容错 5
到了万卡规模,故障是常态而不是意外。Llama 3 在 54 天里遭遇 419 次非计划中断,约 78% 与硬件相关,平均每 3 小时一次。容错的目标是让「有效训练时间占比」接近 100%(Llama 3 达到 90% 以上)。
Checkpoint 的数据流
- 快照:HBM → pinned 主机内存(PCIe D2H,每卡并行,秒级),训练随即继续。
- 冗余:快照复制到其他节点的内存或本地 NVMe(Gemini 式内存 checkpoint),单点故障可从邻居恢复。
- 持久化:后台异步写入共享存储;每个 rank 只写自己的分片,DP 副本之间去重,只写一份。
- 恢复:热备节点替换 → 拉起进程 → 加载分片(必要时按新的并行配置重切分,参考 ByteCheckpoint)。
交互:checkpoint 间隔该设多少?
5端到端算账:一个 step 的时间去哪了
先给出理论下界:step 时间 ≈ 6 · N · tokens_per_step / (GPU 数 × 单卡峰值 × MFU)。以 Llama 3 405B 为例:6 × 405×10⁹ × 16×10⁶ ≈ 3.9×10¹⁹ FLOPs;16,384 × 989 TFLOPS × 40% ≈ 6.5×10¹⁸ FLOP/s,所以 每个 step 约 6 s。
6软硬件算法协同优化全景
| 环节 | 主要瓶颈 | 硬件 | 软件 / 系统 | 算法 |
|---|---|---|---|---|
| 调度 / 启动 | 拓扑碎片、坏节点、初始化慢 | rail-optimized、按 pod 预留、热备池 | gang 调度 + 拓扑感知、burn-in、并行建链、镜像懒加载 | 按通信量排序的 rank 映射 |
| 数据加载 | 解码 CPU 瓶颈、随机读、负载不均 | 本地 NVMe、NVDEC、高带宽前端网 | 预取、pinned 内存、DALI、确定性可恢复 sampler | 离线 latent、packing、按长度分桶 |
| 计算 | HBM 带宽、kernel 低效、显存不足 | Tensor Core、FP8、更大 HBM | FlashAttention、融合算子、CUDA Graph、compile | 选择性重计算、FP8 训练、形状对齐 |
| 并行通信 | TP / EP 暴露、PP 气泡 | NVLink / NVSwitch 域扩大(NVL72) | 通信与 GEMM 重叠、通信专用 SM 配额 | interleaved 1F1B、DualPipe、zero-bubble、CP |
| 梯度同步 | 跨 pod 带宽、拥塞、掉队者 | SHARP、自适应路由、多平面网络 | bucket 重叠、层次化集合通信、掉队者诊断 | ZeRO 分片、低精度梯度通信、低频同步 |
| Checkpoint / 容错 | 写入突发、MTBF 短、SDC | 高带宽存储、主机大内存 | 异步分片 checkpoint、内存冗余、自动重启、flight recorder | Young–Daly 间隔、loss spike 跳过、可重切分 |
7LLM 基座 vs 世界模型:哪里不一样
| 维度 | LLM 基座 | 世界模型(视频 / 多模态生成) | 对系统的影响 |
|---|---|---|---|
| 单样本 token 数 | 4K–128K | 1 分钟 720p 视频压缩后可达 10⁵–10⁶ token | CP(ring attention)从可选变为必需 |
| 数据体量与预处理 | TB–百 TB 级文本,预 tokenize 很便宜 | PB 级视频,解码与 VAE 编码很贵 | 数据环节可能成为主瓶颈,需要离线 latent 管线 |
| 模型结构 | Decoder-only,形状规则 | DiT / 自回归 + 扩散、多分辨率、多时长 | 负载不均,需要动态分桶与均衡 |
| 额外模块 | 无 | 冻结的 VAE / 文本编码器 | 可以拆成独立服务,或与训练卡共置 |
| 通信模式 | TP / PP / DP 为主,MoE 加入 all-to-all | CP 的 KV 通信重,序列极长 | NVLink 域大小直接决定可用序列长度 |
| Checkpoint | 参数量大 | 参数量常常更小,但数据加载状态复杂 | 需要精确恢复多数据源的采样位置 |
8参考资料
- Llama Team. The Llama 3 Herd of Models. arXiv:2407.21783, 2024.(16K H100、4D 并行、故障统计)
- Jiang et al. MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs. NSDI 2024, arXiv:2402.15627.
- Narayanan et al. Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM. SC 2021, arXiv:2104.04473.
- Rajbhandari et al. ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. SC 2020, arXiv:1910.02054.
- DeepSeek-AI. DeepSeek-V3 Technical Report. arXiv:2412.19437, 2024.(DualPipe、FP8 训练)
- Wang et al. Gemini: Fast Failure Recovery in Distributed Training with In-Memory Checkpoints. SOSP 2023.
- Wan et al. ByteCheckpoint: A Unified Checkpointing System for Large Foundation Model Development. arXiv:2407.20143.
- Qian et al. Alibaba HPN: A Data Center Network for Large Language Model Training. SIGCOMM 2024.
- NVIDIA. Cosmos World Foundation Model Platform for Physical AI. arXiv:2501.03575, 2025.
- Meta. Movie Gen: A Cast of Media Foundation Models. arXiv:2410.13720, 2024.
- Liu et al. Ring Attention with Blockwise Transformers for Near-Infinite Context. arXiv:2310.01889.
- Daly. A higher order estimate of the optimum checkpoint interval for restart dumps. FGCS 2006.
- NVIDIA. NVIDIA DGX SuperPOD Reference Architecture: DGX H100 与 DGX H100 User Guide.(SU、rail-optimized 网络、四网分离、节点规格)
- NVIDIA. GB200 NVL72 产品资料.(72 卡 NVLink 域、Grace + NVLink-C2C、机柜液冷)
- Meta Engineering. Building Meta's GenAI Infrastructure, 2024.(两套 24K H100 集群:RoCE 与 InfiniBand,Grand Teton,Tectonic)
- An et al. Fire-Flyer AI-HPC: A Cost-Effective Software-Hardware Co-Design for Deep Learning. SC 2024, arXiv:2408.14158.(萤火二号,约 1 万 PCIe A100)
- DeepSeek-AI. 3FS: Fire-Flyer File System. github.com/deepseek-ai/3FS.(180 存储节点,读约 6.6 TiB/s)
- Supermicro / NVIDIA 关于 xAI Colossus 的公开介绍, 2024.(10 万 H100、Spectrum-X 以太网)
- Al-Fares et al. A Scalable, Commodity Data Center Network Architecture. SIGCOMM 2008.(Fat-tree k³/4 容量公式)
附录 A 名词解释
本章集中解释正文里反复出现、但第一次读容易卡住的网络与互连名词。按「拓扑层 → 链路技术 → 节点内互连」排列;正文里第一次出现时也会链到这里。
Leaf / Spine / Core(Fat-tree 的三层交换机)
这是数据中心 Clos / Fat-tree 网络里对交换机的分层叫法,和「接不接 GPU」直接相关:
| 层 | 别名 | 接什么 | 在万卡训练里干什么 |
|---|---|---|---|
| Leaf(第 1 层) | ToR、edge、rail leaf | 直接接节点上的 NIC / GPU 端口 | rail-optimized 设计里:同一号 GPU(例如所有节点的 GPU0)都接到同一台 Leaf R0。同 SU、同号 GPU 之间一跳就能到 |
| Spine(第 2 层) | aggregation、cluster switch | 只接 Leaf(和上一层 Core),不接 GPU | 把一个 Pod 内多台 Leaf、多个 SU 互连;同 Pod 跨 rail / 跨 SU 的流量走这里 |
| Core(第 3 层) | super-spine、backbone、aggregation(跨 Pod 时) | 只接 Spine,不接任何 GPU | 当两层装不下(例如 64 口交换机两层最多约 2,048 个端点)时,再加一层把各个 Spine 组连起来,使不同 Pod 也能互通。规模小到两层够用时,根本没有 Core |
类比:Leaf 是小区门口的交换机,Spine 是这片小区的汇聚交换机,Core 是连接各个小区的城域骨干——端点(GPU)永远只插在门口,不会直接插到骨干上。Meta Llama 3 公开架构里,Pod 内的「Cluster Switch」相当于 Spine,跨 Pod 的「Aggregation」就是 Core 这一角色(且做了 1:7 收敛)。NVIDIA SuperPOD 文档则直接叫 leaf / spine / core。
InfiniBand(IB)与 NDR
InfiniBand 是一套面向 HPC / AI 的专用互连体系:有自己的物理层、链路层、网络层和传输层,不是「以太网 + 软件协议」。网卡(HCA,Host Channel Adapter)和交换机都按 IB 规范实现,由软件栈(如 OFED)驱动。训练里看重它三点:
- 原生 RDMA:网卡直接读写远端 GPU / 主机内存,不经对方 CPU,延迟低、CPU 开销小。
- 无损传输与拥塞控制:基于 credit 的流控,配合自适应路由;可选 SHARP(交换机内做 all-reduce 聚合),减轻端点负担。
- 成熟的 GPU 路径:与 NCCL、GPUDirect RDMA 长期配合,是 DGX SuperPOD 默认计算网络。
NDR(Next Data Rate)是 IB 的一代线速名,对应单端口 400 Gb/s(之前:HDR 200G、EDR 100G;之后:XDR 800G)。所以正文写「InfiniBand NDR 400G」= 用 IB 协议、NDR 这一代、每条链路 400 Gb/s。DGX H100 上的 ConnectX-7 既可以跑 IB NDR,也可以跑以太网 / RoCE,取决于固件与交换机侧。
RoCE 与 RoCEv2
RoCE(RDMA over Converged Ethernet)的目标是:在普通以太网上实现和 IB 类似的 RDMA,从而用以太网交换机组出「看起来像 IB」的计算网络。
- RoCEv1:RDMA 直接封装在以太网帧里(L2),不能跨三层路由,现已少用。
- RoCEv2(现今默认):把 IB 传输层封进 UDP/IP,可以跨 L3、用 ECMP 做多路径。正文和公开论文里说的 RoCE,几乎都指 RoCEv2。
和 IB 的关键差别不在「能不能 RDMA」,而在谁保证网络不丢包:IB 靠协议自身的 credit 流控;RoCEv2 跑在以太网上,默认以太网是尽力而为、允许丢包,因此必须额外打开 PFC(基于优先级的反压)、ECN / DCQCN 一类拥塞控制,把网络调成「近似无损」,否则 NCCL 会重传、尾延迟爆炸。成本与生态上,RoCE 可用通用以太网交换机与运维体系,往往比同带宽 IB 更便宜、更易扩到极大规模——Meta 的 24K H100 RoCE 集群、字节 MegaScale、阿里 HPN、xAI Spectrum-X 都属于这条路线。
| InfiniBand NDR | RoCEv2 以太网 | |
|---|---|---|
| 协议栈 | 专用 IB 协议端到端 | RDMA 封装在 UDP/IP/以太网 |
| 典型线速(H100 代) | 400 Gb/s / 口 | 400 Gb/s / 口(同样常见) |
| 无损靠什么 | IB 原生 credit 流控;可选 SHARP | PFC + ECN/DCQCN 等调参;NVIDIA Spectrum-X 等做了深度优化 |
| 公开万卡案例 | DGX SuperPOD、DeepSeek 萤火二号、Meta 另一套 IB 集群 | Meta Llama 3 RoCE 集群、MegaScale、阿里 HPN、xAI Colossus |
| 选型直觉 | 延迟与运维成熟、与 NVIDIA 参考架构一致 | 成本、供应链与超大以太网生态;要在拥塞控制上花更多工程 |
正文里还会碰到的相关词
- Fat-tree / Clos
- 多层全互联(或近全互联)的交换机拓扑。无收敛时任意两端点之间有足够带宽;k 口交换机两层最多 k²/2 个端点、三层最多 k³/4 个。见第 1 章图 H3。
- rail / rail-optimized
- 把「所有节点上的第 i 张 GPU」接到同一组 Leaf(Rail Ri)。同号 GPU 通信不经过 Spine;跨号通信默认用 PXN 先在本机 NVLink 转到同号卡。详见第 3 章图 1b。
- SU(Scalable Unit)
- 可复制的最小集群积木,SuperPOD 里常见为 32 节点 / 256 卡,对应一组 R0–R7 Leaf 的覆盖范围。
- PXN
- Peer eXchange over NVLink:跨号 GPU 通信时,先经本机 NVLink 转到目标号 GPU,再出对应 rail,从而避免「R源 → Spine → R目标」。DGX 上 NCCL 默认开启。
- RDMA / GPUDirect RDMA
- Remote Direct Memory Access:网卡直接读写远端内存。GPUDirect RDMA 进一步允许网卡直接访问 GPU 的 HBM,不经过主机 DRAM,前提是 GPU 与 NIC 挂在合适的 PCIe 拓扑下(见图 H2)。
- NVLink / NVSwitch
- NVIDIA 的节点内(或 NVL72 机柜内)高速互连。NVLink 是链路,NVSwitch 是交换芯片;带宽比 scale-out 网络高约一个数量级,承载 TP / EP / CP。
- scale-up vs scale-out
- scale-up = 域内用 NVLink 把多卡当「一台大 GPU」;scale-out = 用 IB / RoCE 把多台服务器连成集群。
- BMC
- Baseboard Management Controller,主板上的带外管理芯片,走独立 1 GbE,节点 OS 挂了也能远程上电、看传感器、刷固件。
- 「2×200G」这类写法
- 表示两条并行链路,每条 200 Gb/s,不是 2×200 再变成别的单位。存储网常见双上联:带宽可叠加(理想约 400 Gb/s 总量),也便于接到两台不同交换机做冗余。档位因集群而异——DeepSeek 3FS 存储节点是 2×200G IB;DGX H100 的存储/带内侧是 ConnectX-7,口速最高可到 400G,是否都插满、是否两口都给存储,由机房布线决定。计算网的「8×400G」同理:8 张卡各 1 条 400G,不是单口 3200G。
- UPI(Ultra Path Interconnect)
- Intel 双路(及多路)至强 CPU 插座与插座之间的专用互连,接替早年的 QPI。图 H2 顶部 CPU0 ↔ CPU1 那条就是 UPI。它运的是跨 socket 的缓存一致性流量、远程内存访问,以及「必须绕到另一颗 CPU 下面」的 PCIe 设备访问;GPU 之间的训练通信不走 UPI。带宽量级大约每条链路几十 GB/s(具体视 CPU 型号与链路条数),远低于 NVLink,也通常低于一块 GPU 的整段 PCIe x16。
- PCIe Gen5 与「交换芯片」
- PCIe 是把 CPU、GPU、网卡、NVMe 等外设连在一起的标准总线。Gen5 单 lane 约 4 GB/s,x16 ≈ 64 GB/s / 方向(双向合计约 128 GB/s)。DGX / HGX 节点里,CPU 的 PCIe root 口不够直接挂 8 卡 + 8 网卡 + NVMe,所以中间加 PCIe 交换芯片(PCIe switch):一端接 CPU,另一端分出多条 x16 给 GPU、计算 NIC、NVMe。因此——是的,CPU ↔ GPU 的数据通路就是 PCIe(经交换芯片),用来做 H2D / D2H、dataloader 送数、checkpoint 从 HBM 拉回主机等。同时,同一颗交换芯片下的 GPU 与计算 NIC 还可以直通做 GPUDirect RDMA,不必先绕到 CPU。再强调:同节点 GPU ↔ GPU 仍走 NVLink,不走这块 PCIe 交换芯片当主干。