拿 nsys 对比两个栈之前,先把 iter 数折成同口径¶
两次施工因为这一步没做,打错了地方。
症状¶
π0.5 在 Thor 上对同机 TRT FP8 的 prefill 差 10.6 ms(GPU 口径)。看 nsys 的 cuda_gpu_kern_sum,我们 GEMM 桶的绝对数字远大于 TRT,于是连做两刀去调 FP8 GEMM:
cuBLASLt的FAST_ACCUM:Thor 的启发式对 e4m3 直接忽略,仍派nvjet_qq*,无效。- 换 CUTLASS SM100 的 tile 去对齐 TRT 里看到的
128x256x128 2sm_epi:prefill GEMM 从 18.4 退化到 33.3。
原因¶
两份 nsys 的 iter 数不同,而 cuda_gpu_kern_sum 报的是总和,不是每次推理:
- TRT engine 的 nsys 是 1 iter,总 GPU 35.38 ms
- 我们的
pi05_llm --stage prefill跑的是 warmup 3 + repeat 10 = 13 iter,总 GPU 600.31 ms
折到每次推理(600.31 / 13 = 46.18)之后,账完全反过来:
| 桶 | TRT FP8 | 我们 | 差 |
|---|---|---|---|
| FP8 GEMM | 18.98 | 18.44 | −0.54(我们本来就赢) |
| attention | 7.90 | 3.63 | −4.27(快一倍) |
| norm + residual + cast + 激活 Q | 1.61 | 14.43 | +12.8 ← 真正的差距 |
全部 10.8 ms 的差距在没融的 elementwise:我们发 191 个 launch 干 TRT 用 35 个 launch 干的事(两发 Myelin,__myl_AddMulMeanAddSqrtDivMulCastMulCast...)。
按这个账重做一刀(融合 residual+RMSNorm+Q),prefill 一次拿到 −9.8,反超 TRT。
做法¶
- 核对总时间。折算后的 per-infer GPU 时间必须能对上 runner 自己报的墙钟(我们 46.18 ≈
pi05_llm报的 46.8;TRT 35.38 ≈ trtexec 报的 36.2)。对不上说明 iter 数或 warmup 假设错了。 - 两边都按桶归类再比,不要盯单个 kernel 名。TRT 的 Myelin 会把十几个 op 融进一个名字(读
Add/Mul/Mean/Sqrt/Div/Cast这些词就能反推它融了什么),逐 kernel 对不上号。 - 同时看 launch 数。
instances / iter比时间更早暴露「对方融了我们没融」——35 vs 191 是一眼的事。 - 别信隔日基线。同一个包同一条命令,
pi05_llmprefill 隔日测出 46.8 和 43.56。差账只认同日同会话对照。
顺带:为什么「换成 TRT 那个 tile」会退化¶
TRT 里看到的 128x256x128 + 2sm_epi 不是它的全局选择,是它给某一个 (N,K) 挑的。FlashRT 在 Thor 上同样按算子写死三档,不按 M 分:
| variant | Tile | 用在 | (N,K) @ M=968 |
|---|---|---|---|
sq |
256×256×128 | QKV、O | 2560×2048、2048×2048 |
t1 |
128×256×128 + epilogue 2SM | gate_up | 16384×2048 |
wide |
256×128×128 | down | 2048×8192 |
plain |
256×128×64 | fallback | — |
把 t1(专给 N=16384)一刀切到所有大 M,窄 GEMM 的 tile 就全浪费了。分派轴是 (N,K),不是 M。
相关¶
projects/pi05_optimize/notes/_draft_prefill_fp8_gemm.md(这两刀的复盘)projects/pi05_optimize/notes/0012-prefill-res-rms-fp8.md(按正确的账重做)thor-sm-count-tile-dispatch.md(tile 与 SM 数)