TVM:GQA broadcast_to + RoPE 写回把 decode 拖慢¶
何时打开:Relax 图里 GQA(kv_heads < q_heads)走通用 matmul / 手写 SDPA;nsys 出现 broadcast_to、concat、cast+split+mul+concat 占大头;或要对齐 TRT _gemm_mha / Myelin RoPE。
立项:方案 _draft_denoise_layout.md,已合入 0005-denoise-varlen-layout.md。段级对照见 lessons/pi05-tvm-trt-gap-nsys.md。
现象¶
π0.5 denoise(action expert,suffix=50,prefix KV=968,GQA 8Q/1KV,head_dim=256,18 层 × 10 步)Thor 门禁。0005 已按下面「正确做法」改图:
TVM varlen(改前) |
TVM dlayout(0005) |
TRT denoise.engine |
|
|---|---|---|---|
| 10 步墙钟 | UniRT 132.7 / pi05_llm 138 |
92.7 / 99.3 | 93.8 / GPU 84 |
| RoPE + 布局 | ~46 ms(38%) | ~12.5 | ~7 |
| decode attn | 手写 8 头 SDPA | flash_fwd ~6.9 |
_gemm_mha_v2 ×10 = 16.7 |
TVM 两颗核(--cuda-graph-trace=node):
fused_*cast_split_multiply*subtract*add*concatenate*transpose*≈ 32 ms →_apply_rope(Q+K)+ permutefused_*squeeze*transpose*concatenate*broadcast_to*≈ 14 ms →concat(prefix,suffix)+ GQAbroadcast_to1→8
Prefill 没有这笔税:已走 attention_var_len,GQA 保持 1 个 kv head,RoPE 只跑一轮。不要用 denoise 的账去打 prefill attn。
图上在干什么¶
手写路径(gemma_dual.attn_decode_e1 + _sdpa):
Q,K = Linear;V = Linear
Q,K = rope_fp32(cast, split, 4×mul, add/sub, concat) # 写回 HBM
K = concat(prefix_K[968], suffix_K[50]) # 每层拷一整段 cache
V = concat(...)
K,V = broadcast_to(1 → 8 heads) # 写出 8 份
logits = Q @ K^T;softmax;@ V # 通用 matmul,必须先摊开
RoPE 公式与 openpi 相同(rotate-half):
TVM 为对齐 eager 路径,RoPE 后 Q/K 保持 fp32 再进 SDPA。dlight 能把代数融进一颗核,不能避免写回和后续 concat/broadcast。
差从哪来(对 TRT)¶
不是公式不同。TRT 层名 __myl_SlicNegConcMulAdd…ReplTran + _gemm_mha_v2 做同一件事,但:
- GQA 不落 8 份 K/V。MHA 核内按 stride 读 1 个 kv head。TVM
_sdpa遇到kv != num_heads就broadcast_to,一层一步写出8×1018×256(K fp32 ≈ 8.3 MB,V fp16 ≈ 4.1 MB)。180 次 launch。 - 不 concat past∥present。
past_keys当 cache 输入。TVM 每层concat,968 的 fp32 prefix K 拷 180 次。 - RoPE 在 MMA prologue 的寄存器里做,不先写一份 post-RoPE Q/K。TVM 即使 fused,仍把 fp32 结果写回再读。
算术量(suffix 50 token 的 cos/sin)很小。46 vs 7 是 HBM 往返 + 180 次小 launch,不是算不动。布局流量大约 2.6 GB / 10 步;按带宽理论 ~13 ms,实测 46 ms(occupancy / launch)。
正确做法¶
要消的是「为通用 matmul 准备 8 头、一根 1018 向量」:
- 发 GQA 原生 的 attention(
relax.nn.attention_var_len/ 能认num_kv_heads的 flash),禁止broadcast_to。 - KV 用 seqstart 或两段指针,不要每层
concat满长 cache。denoise 的 pad 在 prefix 中间([valid | pad | suffix]),不能seqstart=[0, 968+50]。必须把 suffix 接到n_valid后面再seqstart_k=[0, n_valid+50]。 - RoPE 输出给 flash 用 fp16 即可(核内累加 fp32);不必为手写 SDPA 保持一份 fp32 8 头缓冲。
max_seqlen_*写死编译期常量。Host 解 GPU 上的max_seqlen指针会 segfault。见 0004 /attention_operation.py的_static_seqlen。
不要:attention_bias 喂 flash(mask 被丢,见 cutlass-attention-bias-not-flash.md);denoise 开 GeGLU(两边都只有 1–3 ms)。
怎么确认账还在¶
nsys profile -t cuda -s none --cuda-graph-trace=node -o /tmp/tvm_denoise -- \
pi05_llm --model <varlen> --device cuda:0 --stage denoise --warmup 3 --repeat 10
nsys stats -r cuda_gpu_kern_sum /tmp/tvm_denoise.nsys-rep
还在:上面两颗 fused_*broadcast_to* / fused_*split*multiply*concatenate*。
收口成功(0005 已验):broadcast_to 消失;flash_fwd ~6.9 ms/次;布局合计 ~12.5。e2e 212→174 全部来自 expert-1 ×18×10,不是 prefill/ViT。