跳转至

Thor 上 GEMM tile 必须按 SM 数分档;写死 128/256 会打输小 M

何时打开:在 Jetson Thor(SM110,约 20 SM)上写 CUTLASS / CuTe / 自研 GEMM, 或看见 denoise / decode 小 M 比 cuBLAS nvjet_* 慢。

现象

π0.5 B2(CUTLASS Sm100 e4m3)nsys 已是 cutlass::device_kernel + SM100_MMA_F8F6F4,0 条 nvjet_qq,但墙钟持平或略慢:prefill 持平, denoise M=50 的 1SM 128×256×128 比 nvjet_qqhsh 慢,e2e 142.3→145.0。 数字见 projects/pi05_optimize/notes/_draft_fp8_tc.md(待 review,不升基线)。

原因

Thor SM 数是数据中心 Blackwell 的约 1/7。Edge-LLM CuteDslGemmRunner 按 multiProcessorCount 选档,不写死一种 tile:

small_tile_max_M = max(64, 4 * SMs)     # Thor ≈ 80;B100 ≈ 576
2cta_min_M       = (SMs <= 32) ? 256 : 0
  • M ≤ small 阈值 → 64×128,cluster (1,2)
  • 中间 → 128×128
  • 低 SM 且 M≥256 且(M≥512 或 N≥2048)→ 2-CTA 256×256,cluster (2,1)

低 SM 上更大算术强度优于堆 CTA;高 SM(B100)关掉 2-CTA。原文: TensorRT-Edge-LLM/cpp/kernels/talkerMLPKernels/cuteDslGemmRunner.cu (loadKernelModule / run 分发)。对照页: models/pi05/trt-edge-llm-opt-map.md。

B2 当时:M≥128 走 2SM 256×128×64,否则 1SM 128×256×128。 M=50 落进「大 N 的 1SM」,不是 small 档。

FlashRT 也确认(对照代码,2026-09 读仓)

同一原则:一种 tile 不能打所有 (M,N,K)。轴不一样,见 models/pi05/flashrt-opt-map.md「GEMM 分核」。

路径 分发键 小形状档 源码
Thor π0.5 NVFP4 decoder M=10 写死 variant v10 = 128×64×256(缩 N,不缩 M) pi05_thor_fp4.py 默认 decoder_*_variant=10;cutlass_fp4_gemm_variants.cu
Thor π0.5 NVFP4 encoder (N,K) Gate+Up → V8;Down → V1/V7;默认 V6 fp4_utils.pick_variant
Orin INT8 M(+awkward N) M≤64 → 64×128 cutlass_sm80_int8_rowwise.cu::prefer_t64x128_for_shape

Thor NVFP4 注释写明:SM100 block-scaled MMA tile_M 下限 128,不能再缩 M,除非换 GEMV。 所以 FlashRT 在 Thor 上对 skinny-M 是缩 N-tile=64,不是 Edge-LLM FP16 那档 64×128(缩 M)。 B2 的 1SM 128×256×128 对 M=50 偏肥的是 N=256,更接近该改 v10 而不是照搬 Edge 的 64-wide M。

另一条实测:2×1 cluster 在 Thor 上 孤立最快、pipeline 更慢(down K=16384 时 e2e +2.2 ms), 默认改回无 cluster 的 128×256×128。见 docs/pi05_thor_decoder_fp4_e2e.md。

正确做法

  1. 分发读 cudaGetDeviceProperties().multiProcessorCount,阈值跟 SM 走。
  2. 小 M(denoise / decode,Thor 上常见 ≤80)先试 64 宽 tile,不要默认 128×256。
  3. 2-CTA / 2SM 只在低 SM 且 M、N 都够大时打开;N 不够宽时 256-wide 反而更碎。
  4. Thor 上 CUTLASS SM100 tensor core 必须 sm_110a(不是泛化 sm_110), 否则编不出 CUTLASS_ARCH_MMA_SM110A_ENABLED / TCGEN05。