π0.5 Thor:当前 TVM vs TRT 的缺口不在 prefill 注意力¶
何时打开:要决定下一刀打 prefill、denoise 还是 host;或有人想再开 GeGLU / flash attn。
2026-09-02 同机门禁。账当初对 varlen;denoise 布局刀已合入 0005 dlayout。立项全文 projects/pi05_optimize/notes/_draft_gap_nsys.md。
现象¶
| 段 | TVM GPU(varlen → dlayout) | TRT GPU | 主缺口(现在) |
|---|---|---|---|
| vit 3-view | 9.3 | 10.1 | 无(TVM 已快) |
| prefill | 73 | 52 | GeGLU 16.6 vs 7.1;RMS/residual ~12 vs 2.5 |
| denoise 10 步 | 138 → pi05_llm 99(UniRT 墙钟 133→93) |
84 / 墙钟 94 | 布局 46→12.5 已收;残余 RoPE/take vs TRT ~7 |
Prefill flash_fwd 只要 3.6 ms,比 TRT _gemm_mha_v2 4.4 还快。7 月「SIMT QK 占 15%」作废。
UniRT Python prefill 86 vs pi05_llm 73:另有 ~13 ms host,不要算进 GPU 刀。
不要先做的¶
- 再打 prefill attention / 再开已测过的 FlashRT GeGLU 当主刀(那颗只值 −6 ms,到不了 TRT 的 0.39 ms/层)
- 在 denoise 上开 GeGLU(两边都只有 1–3 ms)
- 动 ViT
原理(为何 46 vs 7、图上哪几步写回):domains/optimize/tvm-gqa-rope-materialize.md。
建议顺序¶
- ~~denoise RoPE / GQA 布局~~ 已完成 0005(expert-1×18×10;e2e −38.4;不要再打 denoise attn)
- prefill RMSNorm 收口
- 更好的 GeGLU schedule(新核,不是再拨开关)
- denoise 残余 RoPE /
take(12.5 vs TRT ~7),不要在 denoise 开 GeGLU - host 对齐
pi05_llm的前缀拼接