跳转至

拿 nsys 对比两个栈之前,先把 iter 数折成同口径

两次施工因为这一步没做,打错了地方。

症状

π0.5 在 Thor 上对同机 TRT FP8 的 prefill 差 10.6 ms(GPU 口径)。看 nsys 的 cuda_gpu_kern_sum,我们 GEMM 桶的绝对数字远大于 TRT,于是连做两刀去调 FP8 GEMM:

  • cuBLASLt 的 FAST_ACCUM:Thor 的启发式对 e4m3 直接忽略,仍派 nvjet_qq*,无效。
  • 换 CUTLASS SM100 的 tile 去对齐 TRT 里看到的 128x256x128 2sm_epi:prefill GEMM 从 18.4 退化到 33.3。

原因

两份 nsys 的 iter 数不同,而 cuda_gpu_kern_sum 报的是总和,不是每次推理:

  • TRT engine 的 nsys 是 1 iter,总 GPU 35.38 ms
  • 我们的 pi05_llm --stage prefill 跑的是 warmup 3 + repeat 10 = 13 iter,总 GPU 600.31 ms

折到每次推理(600.31 / 13 = 46.18)之后,账完全反过来:

桶 TRT FP8 我们 差
FP8 GEMM 18.98 18.44 −0.54(我们本来就赢)
attention 7.90 3.63 −4.27(快一倍)
norm + residual + cast + 激活 Q 1.61 14.43 +12.8 ← 真正的差距

全部 10.8 ms 的差距在没融的 elementwise:我们发 191 个 launch 干 TRT 用 35 个 launch 干的事(两发 Myelin,__myl_AddMulMeanAddSqrtDivMulCastMulCast...)。

按这个账重做一刀(融合 residual+RMSNorm+Q),prefill 一次拿到 −9.8,反超 TRT。

做法

  1. 核对总时间。折算后的 per-infer GPU 时间必须能对上 runner 自己报的墙钟(我们 46.18 ≈ pi05_llm 报的 46.8;TRT 35.38 ≈ trtexec 报的 36.2)。对不上说明 iter 数或 warmup 假设错了。
  2. 两边都按桶归类再比,不要盯单个 kernel 名。TRT 的 Myelin 会把十几个 op 融进一个名字(读 Add/Mul/Mean/Sqrt/Div/Cast 这些词就能反推它融了什么),逐 kernel 对不上号。
  3. 同时看 launch 数。instances / iter 比时间更早暴露「对方融了我们没融」——35 vs 191 是一眼的事。
  4. 别信隔日基线。同一个包同一条命令,pi05_llm prefill 隔日测出 46.8 和 43.56。差账只认同日同会话对照。

顺带:为什么「换成 TRT 那个 tile」会退化

TRT 里看到的 128x256x128 + 2sm_epi 不是它的全局选择,是它给某一个 (N,K) 挑的。FlashRT 在 Thor 上同样按算子写死三档,不按 M 分:

variant Tile 用在 (N,K) @ M=968
sq 256×256×128 QKV、O 2560×2048、2048×2048
t1 128×256×128 + epilogue 2SM gate_up 16384×2048
wide 256×128×128 down 2048×8192
plain 256×128×64 fallback —

把 t1(专给 N=16384)一刀切到所有大 M,窄 GEMM 的 tile 就全浪费了。分派轴是 (N,K),不是 M。

相关

  • projects/pi05_optimize/notes/_draft_prefill_fp8_gemm.md(这两刀的复盘)
  • projects/pi05_optimize/notes/0012-prefill-res-rms-fp8.md(按正确的账重做)
  • thor-sm-count-tile-dispatch.md(tile 与 SM 数)