中文译本 · 原文 GPU Execution Model · MLC Community
GPU 执行模型
本章要点
- Kernel 的执行首先由线程层级决定:thread、warp、warpgroup、CTA、cluster、grid 对应不同粒度的协作。许多 Blackwell 操作有各自的天然 作用域(scope):TMA copy 由单个线程发起;整块 TMEM 累加器由四个 warp 分别读回 32-lane 窗口;2-CTA 协作 MMA 跨越两个 CTA。
- 数据不在单一位置。GMEM、SMEM、TMEM 和寄存器在容量、延迟、可见范围上各有取舍;cluster 还通过 DSMEM 让一个 CTA 访问另一个 CTA 的共享内存。高性能 kernel 的核心工作之一,就是在这些空间之间高效搬数据。
- 计算与数据搬运由不同硬件引擎完成。CUDA core 负责地址计算、控制流和标量逻辑;Tensor Core 做主矩阵运算;TMA 异步搬数据。章末用一条 GEMM 数据流水说明如何让多个引擎同时忙起来。
要写高性能 GPU kernel,需要先搞清三件事:线程如何组织、数据住在哪里、不同硬件引擎如何配合。本章按这三个问题展开:先讲 GPU 线程层级,再讲存储空间,最后介绍计算与搬运引擎。结尾用一条 GEMM 流水把它们串起来,说明计算如何与数据搬运重叠。
我们从 Blackwell SM 架构开始。下图给出本章用到的主要硬件单元。
点击组件,查看 Blackwell SM 内部的 warp、warpgroup、共享内存、Tensor Memory、Tensor Core 与 TMA 引擎。
执行层级
GPU 不会把成千上万个线程当成一块扁平集合来管。它把线程分成若干层,每层有不同的协作粒度。下图是 Blackwell 上的线程层级。
点击组件,依次走过 thread、warp、warpgroup、CTA、cluster 与 grid。
- Thread:标量执行单元。每个线程有自己的程序计数器和寄存器,并在所属 warp 内用 lane ID 标识。
- Warp:32 个线程按 SIMT(single instruction, multiple threads)执行。同一 warp 的 lane 一起发射同一条指令,但各自保留寄存器,也可以单独被 mask 掉,因此同一 warp 的 lane 可以走不同分支。
-
Warpgroup:连续四个 warp,共 128 线程。Hopper 引入 warpgroup 作为发出 warpgroup 级 MMA(
wgmma)的单位。在 Blackwell 上,这四个 warp 还可以分别覆盖 Tensor Memory 的四个 32-lane 窗口。 - CTA(Cooperative Thread Array,CUDA 里的 thread block):硬件调度的基本单位。一个 CTA 跑在单个 SM 上,并在该 SM 内拥有一块私有共享内存。同一 SM 上可以同时驻留多个 CTA,它们会瓜分该 SM 的共享内存容量。
- Cluster:一组可能分布在不同 SM 上的协作 CTA。同一 cluster 内的 CTA 可以彼此同步,并读写对方的共享内存,这一能力称为分布式共享内存(distributed shared memory)。
Blackwell 的关键操作并不都由同一组线程发出。单个线程发起 TMA copy,随后由硬件执行。每个 warp 对自己的 32-lane 窗口发 warp 级 TMEM load。指定的一个线程 commit tcgen05 MMA;而 2-CTA 协作 MMA 则跨越两个 CTA。
我们把参与一次操作的那组线程称为它的 scope。分析一个 kernel 时,需要同时看操作的 scope、数据 layout 以及发出方式。
存储空间
线程层级回答计算如何组织。接下来要确定数据住在哪里。GPU 提供多种存储空间,在容量、延迟、访问范围上各有取舍。Kernel 必须在它们之间高效搬数据。
| 存储 | 归属 | 角色 | 说明 |
|---|---|---|---|
| Global (GMEM) | 整卡 | 持久 tensor 存储 | 大容量 HBM,所有 SM 共享 |
| Shared (SMEM) | 每 CTA(一个 SM) | Tile 暂存 | 低延迟 scratchpad;B200 上最多约 228 KB/SM |
| Tensor Memory (TMEM) | 每 CTA | MMA 累加器存储 | Blackwell 引入,供 tcgen05 使用 |
| Register File (RF) | 每线程 | 标量与每线程 tile fragment | 最快;放 epilogue / 临时值 |
Tensor Memory (TMEM) 是 Blackwell 引入的片上存储。更早架构上,MMA 累加器通常住在寄存器里。随着 MMA tile 变大,这些累加器会吃掉很大一块寄存器文件。Blackwell 的 tcgen05 把累加器写到 TMEM,从而减轻寄存器压力。
TMEM 可以看成 CTA 使用的二维 scratchpad:128 行对应 128 个 TMEM lane,最多 512 列,每列 32 bit。逻辑上属于 CTA,物理上仍在该 SM 上。
程序必须显式管理 TMEM:kernel 要申请和释放;epilogue 必须把 MMA 累加器从 TMEM 显式读回寄存器。要读满 128-lane 累加器,warpgroup 里的四个 warp 各自 load 自己的 32-lane TMEM 窗口。
Cluster 上的分布式共享内存
一个 cluster 里的 CTA 可以跑在不同 SM 上。每个 CTA 仍拥有自己的共享内存,但 distributed shared memory(DSMEM) 允许同一 cluster 里的其他 CTA 访问这些数据。
这样可以避免不必要的 GMEM 往返:一个 CTA 能直接访问另一个 CTA 的 SMEM,而不必先写回 GMEM 再让对端加载。当异步操作搬这类数据时,传输完成后会更新 completion barrier;消费者要等该 barrier 再使用结果。
下图给出 2-CTA cluster 中的 DSMEM 访问路径。每个 CTA 保留自己的 SMEM,但可以读对方的 SMEM。
点击组件,查看两个 CTA 如何通过 DSMEM 访问彼此的共享内存。
上图的 2-CTA GEMM 里,每个 CTA 存放自己的 A、B 切片,并通过 DSMEM 读对端的 B 切片。这里的「共享」并不是把两块 SMEM 合成一块,只表示同一 cluster 内的 CTA 可以跨 SM 访问彼此的数据。
两个 CTA 可以组成 CTA pair,以 cta_group::2 模式执行协作 MMA,产出更大的输出 tile。
计算:CUDA Core 与 Tensor Core
线程层级决定计算如何组织,存储空间决定数据住在哪里。真正做算术的是 SM 内部的计算单元。SM 主要有两类:CUDA core 和 Tensor Core。
- CUDA core 是通用 SIMT ALU。它们执行标量/向量指令,处理下标运算、逐元素数学、reduction 和控制流。
- Tensor Core 是固定功能单元,按 tile 粒度做稠密矩阵乘加,一条指令计算 D = AB + C。
Tensor Core 的算术吞吐往往比 CUDA core 高一个数量级以上(FLOP/s)。GEMM、卷积、attention 这类稠密线性代数,只有有效用上 Tensor Core 才能接近峰值。高性能 kernel 还必须及时把数据准备好,避免 Tensor Core 空等数据或依赖。
不同代 GPU 不仅改 Tensor Core 吞吐,也改编程接口和累加器放置。Hopper 引入异步 warpgroup MMA(wgmma.mma_async)。Blackwell 第五代 Tensor Core tcgen05 把累加器放在 Tensor Memory 而不是寄存器。后续章节会细讲这些差异。
Cluster 还带来对 GEMM 很重要的两种协作。2-CTA 协作 MMA 让两个 CTA 各自提供部分 SMEM 操作数,组成更大的 Tensor Core MMA tile。TMA multicast 让一次 GMEM load 把同一 tile 送到多个 CTA,避免每个 CTA 各自从全局内存重复加载。两者都依赖前面介绍的 cluster 与 DSMEM。
GEMM 数据流水
前面分别介绍了线程层级、存储空间、数据搬运机制和计算单元。现在用一条 GEMM 流水把它们连起来。下图是三级 GEMM tile 流水中的主要单元。
点击阶段,查看 Blackwell 上从 load 经 MMA 到 epilogue 的数据路径。
单个 GEMM tile 通常经过三个阶段:
- Load:TMA copy 把 A 或 B 的 operand tile 从 GMEM 搬到 SMEM。一个线程发出 copy,并记录期望到达的字节数。数据进入 SMEM 时,TMA 引擎更新进度计数。只有全部期望字节到达后,completion barrier 才 complete。
-
Compute:
tcgen05MMA 从 SMEM 读取 operand tile,把乘积累加到 TMEM tile。指定线程 commit MMA;计算完成后硬件通知对应 barrier。 - Epilogue:一个 warpgroup 把 TMEM 累加器读回寄存器,转换成输出 dtype,再写到 GMEM。这一步常常经 SMEM 中转,最终写回也可能用 TMA store。
这些阶段有数据依赖,但不必整段串行。朴素 kernel 按 load、wait、compute、wait、store 依次执行,硬件单元会轮流空闲。
高性能 kernel 把这些阶段组织成流水:Tensor Core 在算 tile k 时,TMA 可以搬 tile k+1,epilogue 可以处理 tile k-1 的输出。Barrier 与 phase 模型负责这些异步阶段之间的安全交接。本书后面的 GEMM 优化都建立在这一机制上。