跳转至

π0.5 Thor:当前 TVM vs TRT 的缺口不在 prefill 注意力

何时打开:要决定下一刀打 prefill、denoise 还是 host;或有人想再开 GeGLU / flash attn。

2026-09-02 同机门禁。账当初对 varlen;denoise 布局刀已合入 0005 dlayout。立项全文 projects/pi05_optimize/notes/_draft_gap_nsys.md。

现象

段 TVM GPU(varlen → dlayout) TRT GPU 主缺口(现在)
vit 3-view 9.3 10.1 无(TVM 已快)
prefill 73 52 GeGLU 16.6 vs 7.1;RMS/residual ~12 vs 2.5
denoise 10 步 138 → pi05_llm 99(UniRT 墙钟 133→93) 84 / 墙钟 94 布局 46→12.5 已收;残余 RoPE/take vs TRT ~7

Prefill flash_fwd 只要 3.6 ms,比 TRT _gemm_mha_v2 4.4 还快。7 月「SIMT QK 占 15%」作废。

UniRT Python prefill 86 vs pi05_llm 73:另有 ~13 ms host,不要算进 GPU 刀。

不要先做的

  • 再打 prefill attention / 再开已测过的 FlashRT GeGLU 当主刀(那颗只值 −6 ms,到不了 TRT 的 0.39 ms/层)
  • 在 denoise 上开 GeGLU(两边都只有 1–3 ms)
  • 动 ViT

原理(为何 46 vs 7、图上哪几步写回):domains/optimize/tvm-gqa-rope-materialize.md。

建议顺序

  1. ~~denoise RoPE / GQA 布局~~ 已完成 0005(expert-1×18×10;e2e −38.4;不要再打 denoise attn)
  2. prefill RMSNorm 收口
  3. 更好的 GeGLU schedule(新核,不是再拨开关)
  4. denoise 残余 RoPE / take(12.5 vs TRT ~7),不要在 denoise 开 GeGLU
  5. host 对齐 pi05_llm 的前缀拼接