跳转至

TVM:GQA broadcast_to + RoPE 写回把 decode 拖慢

何时打开:Relax 图里 GQA(kv_heads < q_heads)走通用 matmul / 手写 SDPA;nsys 出现 broadcast_to、concat、cast+split+mul+concat 占大头;或要对齐 TRT _gemm_mha / Myelin RoPE。

立项:方案 _draft_denoise_layout.md,已合入 0005-denoise-varlen-layout.md。段级对照见 lessons/pi05-tvm-trt-gap-nsys.md。

现象

π0.5 denoise(action expert,suffix=50,prefix KV=968,GQA 8Q/1KV,head_dim=256,18 层 × 10 步)Thor 门禁。0005 已按下面「正确做法」改图:

TVM varlen(改前) TVM dlayout(0005) TRT denoise.engine
10 步墙钟 UniRT 132.7 / pi05_llm 138 92.7 / 99.3 93.8 / GPU 84
RoPE + 布局 ~46 ms(38%) ~12.5 ~7
decode attn 手写 8 头 SDPA flash_fwd ~6.9 _gemm_mha_v2 ×10 = 16.7

TVM 两颗核(--cuda-graph-trace=node):

  • fused_*cast_split_multiply*subtract*add*concatenate*transpose* ≈ 32 ms → _apply_rope(Q+K)+ permute
  • fused_*squeeze*transpose*concatenate*broadcast_to* ≈ 14 ms → concat(prefix,suffix) + GQA broadcast_to 1→8

Prefill 没有这笔税:已走 attention_var_len,GQA 保持 1 个 kv head,RoPE 只跑一轮。不要用 denoise 的账去打 prefill attn。

图上在干什么

手写路径(gemma_dual.attn_decode_e1 + _sdpa):

Q,K = Linear;V = Linear
Q,K = rope_fp32(cast, split, 4×mul, add/sub, concat)   # 写回 HBM
K = concat(prefix_K[968], suffix_K[50])                 # 每层拷一整段 cache
V = concat(...)
K,V = broadcast_to(1 → 8 heads)                         # 写出 8 份
logits = Q @ K^T;softmax;@ V                          # 通用 matmul,必须先摊开

RoPE 公式与 openpi 相同(rotate-half):

x1, x2 = split(x, 2)
out = concat(x1*cos - x2*sin, x2*cos + x1*sin)

TVM 为对齐 eager 路径,RoPE 后 Q/K 保持 fp32 再进 SDPA。dlight 能把代数融进一颗核,不能避免写回和后续 concat/broadcast。

差从哪来(对 TRT)

不是公式不同。TRT 层名 __myl_SlicNegConcMulAdd…ReplTran + _gemm_mha_v2 做同一件事,但:

  1. GQA 不落 8 份 K/V。MHA 核内按 stride 读 1 个 kv head。TVM _sdpa 遇到 kv != num_heads 就 broadcast_to,一层一步写出 8×1018×256(K fp32 ≈ 8.3 MB,V fp16 ≈ 4.1 MB)。180 次 launch。
  2. 不 concat past∥present。past_keys 当 cache 输入。TVM 每层 concat,968 的 fp32 prefix K 拷 180 次。
  3. RoPE 在 MMA prologue 的寄存器里做,不先写一份 post-RoPE Q/K。TVM 即使 fused,仍把 fp32 结果写回再读。

算术量(suffix 50 token 的 cos/sin)很小。46 vs 7 是 HBM 往返 + 180 次小 launch,不是算不动。布局流量大约 2.6 GB / 10 步;按带宽理论 ~13 ms,实测 46 ms(occupancy / launch)。

正确做法

要消的是「为通用 matmul 准备 8 头、一根 1018 向量」:

  1. 发 GQA 原生 的 attention(relax.nn.attention_var_len / 能认 num_kv_heads 的 flash),禁止 broadcast_to。
  2. KV 用 seqstart 或两段指针,不要每层 concat 满长 cache。denoise 的 pad 在 prefix 中间([valid | pad | suffix]),不能 seqstart=[0, 968+50]。必须把 suffix 接到 n_valid 后面再 seqstart_k=[0, n_valid+50]。
  3. RoPE 输出给 flash 用 fp16 即可(核内累加 fp32);不必为手写 SDPA 保持一份 fp32 8 头缓冲。
  4. max_seqlen_* 写死编译期常量。Host 解 GPU 上的 max_seqlen 指针会 segfault。见 0004 / attention_operation.py 的 _static_seqlen。

不要:attention_bias 喂 flash(mask 被丢,见 cutlass-attention-bias-not-flash.md);denoise 开 GeGLU(两边都只有 1–3 ms)。

怎么确认账还在

nsys profile -t cuda -s none --cuda-graph-trace=node -o /tmp/tvm_denoise -- \
  pi05_llm --model <varlen> --device cuda:0 --stage denoise --warmup 3 --repeat 10
nsys stats -r cuda_gpu_kern_sum /tmp/tvm_denoise.nsys-rep

还在:上面两颗 fused_*broadcast_to* / fused_*split*multiply*concatenate*。
收口成功(0005 已验):broadcast_to 消失;flash_fwd ~6.9 ms/次;布局合计 ~12.5。e2e 212→174 全部来自 expert-1 ×18×10,不是 prefill/ViT。