Thor 上 GEMM tile 必须按 SM 数分档;写死 128/256 会打输小 M¶
何时打开:在 Jetson Thor(SM110,约 20 SM)上写 CUTLASS / CuTe / 自研 GEMM,
或看见 denoise / decode 小 M 比 cuBLAS nvjet_* 慢。
现象¶
π0.5 B2(CUTLASS Sm100 e4m3)nsys 已是 cutlass::device_kernel +
SM100_MMA_F8F6F4,0 条 nvjet_qq,但墙钟持平或略慢:prefill 持平,
denoise M=50 的 1SM 128×256×128 比 nvjet_qqhsh 慢,e2e 142.3→145.0。
数字见 projects/pi05_optimize/notes/_draft_fp8_tc.md(待 review,不升基线)。
原因¶
Thor SM 数是数据中心 Blackwell 的约 1/7。Edge-LLM CuteDslGemmRunner
按 multiProcessorCount 选档,不写死一种 tile:
- M ≤ small 阈值 → 64×128,cluster (1,2)
- 中间 → 128×128
- 低 SM 且 M≥256 且(M≥512 或 N≥2048)→ 2-CTA 256×256,cluster (2,1)
低 SM 上更大算术强度优于堆 CTA;高 SM(B100)关掉 2-CTA。原文:
TensorRT-Edge-LLM/cpp/kernels/talkerMLPKernels/cuteDslGemmRunner.cu
(loadKernelModule / run 分发)。对照页:
models/pi05/trt-edge-llm-opt-map.md。
B2 当时:M≥128 走 2SM 256×128×64,否则 1SM 128×256×128。
M=50 落进「大 N 的 1SM」,不是 small 档。
FlashRT 也确认(对照代码,2026-09 读仓)¶
同一原则:一种 tile 不能打所有 (M,N,K)。轴不一样,见
models/pi05/flashrt-opt-map.md「GEMM 分核」。
| 路径 | 分发键 | 小形状档 | 源码 |
|---|---|---|---|
Thor π0.5 NVFP4 decoder M=10 |
写死 variant | v10 = 128×64×256(缩 N,不缩 M) | pi05_thor_fp4.py 默认 decoder_*_variant=10;cutlass_fp4_gemm_variants.cu |
| Thor π0.5 NVFP4 encoder | (N,K) |
Gate+Up → V8;Down → V1/V7;默认 V6 | fp4_utils.pick_variant |
| Orin INT8 | M(+awkward N) |
M≤64 → 64×128 |
cutlass_sm80_int8_rowwise.cu::prefer_t64x128_for_shape |
Thor NVFP4 注释写明:SM100 block-scaled MMA tile_M 下限 128,不能再缩 M,除非换 GEMV。
所以 FlashRT 在 Thor 上对 skinny-M 是缩 N-tile=64,不是 Edge-LLM FP16 那档 64×128(缩 M)。
B2 的 1SM 128×256×128 对 M=50 偏肥的是 N=256,更接近该改 v10 而不是照搬 Edge 的 64-wide M。
另一条实测:2×1 cluster 在 Thor 上 孤立最快、pipeline 更慢(down K=16384 时 e2e +2.2 ms),
默认改回无 cluster 的 128×256×128。见 docs/pi05_thor_decoder_fp4_e2e.md。
正确做法¶
- 分发读
cudaGetDeviceProperties().multiProcessorCount,阈值跟 SM 走。 - 小 M(denoise / decode,Thor 上常见 ≤80)先试 64 宽 tile,不要默认 128×256。
- 2-CTA / 2SM 只在低 SM 且 M、N 都够大时打开;N 不够宽时 256-wide 反而更碎。
- Thor 上 CUTLASS SM100 tensor core 必须
sm_110a(不是泛化sm_110), 否则编不出CUTLASS_ARCH_MMA_SM110A_ENABLED/ TCGEN05。