中文译本 · 原文 GPU Execution Model · MLC Community

GPU 执行模型

本章要点

  • Kernel 的执行首先由线程层级决定:thread、warp、warpgroup、CTA、cluster、grid 对应不同粒度的协作。许多 Blackwell 操作有各自的天然 作用域(scope):TMA copy 由单个线程发起;整块 TMEM 累加器由四个 warp 分别读回 32-lane 窗口;2-CTA 协作 MMA 跨越两个 CTA。
  • 数据不在单一位置。GMEM、SMEM、TMEM 和寄存器在容量、延迟、可见范围上各有取舍;cluster 还通过 DSMEM 让一个 CTA 访问另一个 CTA 的共享内存。高性能 kernel 的核心工作之一,就是在这些空间之间高效搬数据。
  • 计算与数据搬运由不同硬件引擎完成。CUDA core 负责地址计算、控制流和标量逻辑;Tensor Core 做主矩阵运算;TMA 异步搬数据。章末用一条 GEMM 数据流水说明如何让多个引擎同时忙起来。

要写高性能 GPU kernel,需要先搞清三件事:线程如何组织、数据住在哪里、不同硬件引擎如何配合。本章按这三个问题展开:先讲 GPU 线程层级,再讲存储空间,最后介绍计算与搬运引擎。结尾用一条 GEMM 流水把它们串起来,说明计算如何与数据搬运重叠。

我们从 Blackwell SM 架构开始。下图给出本章用到的主要硬件单元。

点击组件,查看 Blackwell SM 内部的 warp、warpgroup、共享内存、Tensor Memory、Tensor Core 与 TMA 引擎。

执行层级

GPU 不会把成千上万个线程当成一块扁平集合来管。它把线程分成若干层,每层有不同的协作粒度。下图是 Blackwell 上的线程层级。

点击组件,依次走过 thread、warp、warpgroup、CTA、cluster 与 grid。

Blackwell 的关键操作并不都由同一组线程发出。单个线程发起 TMA copy,随后由硬件执行。每个 warp 对自己的 32-lane 窗口发 warp 级 TMEM load。指定的一个线程 commit tcgen05 MMA;而 2-CTA 协作 MMA 则跨越两个 CTA。

我们把参与一次操作的那组线程称为它的 scope。分析一个 kernel 时,需要同时看操作的 scope、数据 layout 以及发出方式。

存储空间

线程层级回答计算如何组织。接下来要确定数据住在哪里。GPU 提供多种存储空间,在容量、延迟、访问范围上各有取舍。Kernel 必须在它们之间高效搬数据。

存储 归属 角色 说明
Global (GMEM) 整卡 持久 tensor 存储 大容量 HBM,所有 SM 共享
Shared (SMEM) 每 CTA(一个 SM) Tile 暂存 低延迟 scratchpad;B200 上最多约 228 KB/SM
Tensor Memory (TMEM) 每 CTA MMA 累加器存储 Blackwell 引入,供 tcgen05 使用
Register File (RF) 每线程 标量与每线程 tile fragment 最快;放 epilogue / 临时值

Tensor Memory (TMEM) 是 Blackwell 引入的片上存储。更早架构上,MMA 累加器通常住在寄存器里。随着 MMA tile 变大,这些累加器会吃掉很大一块寄存器文件。Blackwell 的 tcgen05 把累加器写到 TMEM,从而减轻寄存器压力。

TMEM 可以看成 CTA 使用的二维 scratchpad:128 行对应 128 个 TMEM lane,最多 512 列,每列 32 bit。逻辑上属于 CTA,物理上仍在该 SM 上。

程序必须显式管理 TMEM:kernel 要申请和释放;epilogue 必须把 MMA 累加器从 TMEM 显式读回寄存器。要读满 128-lane 累加器,warpgroup 里的四个 warp 各自 load 自己的 32-lane TMEM 窗口。

Cluster 上的分布式共享内存

一个 cluster 里的 CTA 可以跑在不同 SM 上。每个 CTA 仍拥有自己的共享内存,但 distributed shared memory(DSMEM) 允许同一 cluster 里的其他 CTA 访问这些数据。

这样可以避免不必要的 GMEM 往返:一个 CTA 能直接访问另一个 CTA 的 SMEM,而不必先写回 GMEM 再让对端加载。当异步操作搬这类数据时,传输完成后会更新 completion barrier;消费者要等该 barrier 再使用结果。

下图给出 2-CTA cluster 中的 DSMEM 访问路径。每个 CTA 保留自己的 SMEM,但可以读对方的 SMEM。

点击组件,查看两个 CTA 如何通过 DSMEM 访问彼此的共享内存。

上图的 2-CTA GEMM 里,每个 CTA 存放自己的 A、B 切片,并通过 DSMEM 读对端的 B 切片。这里的「共享」并不是把两块 SMEM 合成一块,只表示同一 cluster 内的 CTA 可以跨 SM 访问彼此的数据。

两个 CTA 可以组成 CTA pair,以 cta_group::2 模式执行协作 MMA,产出更大的输出 tile。

计算:CUDA Core 与 Tensor Core

线程层级决定计算如何组织,存储空间决定数据住在哪里。真正做算术的是 SM 内部的计算单元。SM 主要有两类:CUDA core 和 Tensor Core。

Tensor Core 的算术吞吐往往比 CUDA core 高一个数量级以上(FLOP/s)。GEMM、卷积、attention 这类稠密线性代数,只有有效用上 Tensor Core 才能接近峰值。高性能 kernel 还必须及时把数据准备好,避免 Tensor Core 空等数据或依赖。

不同代 GPU 不仅改 Tensor Core 吞吐,也改编程接口和累加器放置。Hopper 引入异步 warpgroup MMA(wgmma.mma_async)。Blackwell 第五代 Tensor Core tcgen05 把累加器放在 Tensor Memory 而不是寄存器。后续章节会细讲这些差异。

Cluster 还带来对 GEMM 很重要的两种协作。2-CTA 协作 MMA 让两个 CTA 各自提供部分 SMEM 操作数,组成更大的 Tensor Core MMA tile。TMA multicast 让一次 GMEM load 把同一 tile 送到多个 CTA,避免每个 CTA 各自从全局内存重复加载。两者都依赖前面介绍的 cluster 与 DSMEM。

GEMM 数据流水

前面分别介绍了线程层级、存储空间、数据搬运机制和计算单元。现在用一条 GEMM 流水把它们连起来。下图是三级 GEMM tile 流水中的主要单元。

点击阶段,查看 Blackwell 上从 load 经 MMA 到 epilogue 的数据路径。

单个 GEMM tile 通常经过三个阶段:

  1. Load:TMA copy 把 A 或 B 的 operand tile 从 GMEM 搬到 SMEM。一个线程发出 copy,并记录期望到达的字节数。数据进入 SMEM 时,TMA 引擎更新进度计数。只有全部期望字节到达后,completion barrier 才 complete。
  2. Compute:tcgen05 MMA 从 SMEM 读取 operand tile,把乘积累加到 TMEM tile。指定线程 commit MMA;计算完成后硬件通知对应 barrier。
  3. Epilogue:一个 warpgroup 把 TMEM 累加器读回寄存器,转换成输出 dtype,再写到 GMEM。这一步常常经 SMEM 中转,最终写回也可能用 TMA store。

这些阶段有数据依赖,但不必整段串行。朴素 kernel 按 load、wait、compute、wait、store 依次执行,硬件单元会轮流空闲。

高性能 kernel 把这些阶段组织成流水:Tensor Core 在算 tile k 时,TMA 可以搬 tile k+1,epilogue 可以处理 tile k-1 的输出。Barrier 与 phase 模型负责这些异步阶段之间的安全交接。本书后面的 GEMM 优化都建立在这一机制上。