跳转至

CUTLASS attention_bias 被错派到不接 bias 的 flash

何时打开:TVM Relax 发了 relax.nn.attention / attention_bias,CUTLASS BYOC 符号在,但 pad mask 无效、精度掉一截;或 nsys 里是 flash_fwd 而 IR 名叫 attention_bias。

现象

π0.5 expert-0 prefill(2026-09-02 Thor)把手写 _sdpa 改成 relax.nn.attention_bias(加性 pad [1,1,1,968]):

  • nm 有 T __tvm_ffi_fused_relax_nn_attention_bias_cutlass,以为吃到 BYOC。
  • nsys 实际是 flash_fwd_kernel,flash_attention_forward 没有 bias 参数。
  • 同一 prefix:全 0 mask vs 后段 -1e9。手写从第 1 层 K 就分开(cosine 0.87);fused 18 层 K/V bit 相同。
  • excl4 维 0–15:mse 0.000028 → 0.002,cosine 0.999977 → 0.998。不是「没发 fused」,是 发了 bias、核当没 bias 跑。

根因

tvm-relax/python/tvm/contrib/cutlass/gen_tensor_op.py 认 bias 的条件写死了带 workspace 的个数:

  • default:len(func_args) > 4 才把 func_args[3] 当 bias(按 q,k,v,bias,workspace)
  • stacked:len(func_args) > 2

flash 路径不需要 workspace。常见是 q,k,v,bias 共 4 个 → 不写 attrs["bias"] → use_flash 要求 "bias" not in attrs 为真 → 走 instantiate_flash_attention_template。第 4 个入参被丢掉,不报错。

libflash_attn 这条包装接不住任意加性 mask。有 bias 应走 generic AttentionKernel(kernel_forward.h,p.attn_bias_ptr)。

正确做法

  1. 分派(gen_tensor_op.py):去掉末尾 workspace 后再数 payload;函数名含 attention_bias 或 payload 多于 qkv,必须写入 attrs["bias"],从而 use_flash=False。缺参要 raise,不要静默 flash。
  2. 标注(build.py):bias_shape 从 attention_bias call 的第 4 个参数取。旧代码只在签名有 arg4(workspace)时才写 arg3 为 bias;RunCodegen 时还没有 workspace,4 元函数(q,k,v,bias)会没有 bias_shape,generic 模板随即 KeyError。
  3. 模板(attention_operation.py):generic AttentionKernel 要一块 accumulator。codegen 时没有 workspace 形参就走 cudaMalloc,不要留下未替换的 ${workspace}。
  4. 前端:nn.attention 不接 attn_mask,pad 必须发 relax.nn.attention_bias。GQA 走 generic 核前要先 broadcast 到 Q 头数(那条核 assert not is_mqa)。
  5. 验收不能只看符号:
  6. nm 有 *_attention_bias_cutlass 只说明分区了
  7. 生成的 lib0.cu 必须有 p.attn_bias_ptr,且 不要 调 flash_attention_forward(ViT 无 bias 的 stacked flash 可以另有一份)
  8. 换 mask 看 K/V:layer0 相同(写在 attention 前);layer1 必须随 mask 变。不变 = bias 没进核
  9. 接不上就不要发 fused。legalize _te_attention 比手写慢约 4 倍(SigLIP 已踩)。

施工时又踩的:generic 核在 Thor 上跑不起来

分派修好后(2026-09-02),lib0.cu 已是 AttentionKernel<half, Sm80, kMaxK=256, supports_bias=1>,p.attn_bias_ptr 有了。prefill 一 invoke 就 CUBLAS_STATUS_EXECUTION_FAILED(前面的 attention launch 把 context 打坏)。CUTLASS 2.x 这颗核 + head_dim=256 + sm_110 上 PTX JIT 尚未跑通。编过 ≠ 能跑。应改走 flash 能接的语义(attention_var_len 只跑 valid prefix)。π0.5 已落 projects/pi05_optimize/notes/0004-prefill-varlen.md。

attention_var_len 的 max_seqlen 模板默认 host 解 tensor->data。常量若被放到 CUDA,这里 segfault。静态 prefix 把 num_queries / num_keys 写进核(attention_operation.py);get_dim 必须认 Python int,否则仍走 tensor 解引用。

不要做

  • 不要看见 fused_relax_nn_attention_*_cutlass 就当 mask 生效。
  • 不要给这条 flash_attention_forward 硬加任意 bias(包装没有这个参数)。
  • 不要用「e2e 快了」代替 mask 对拍。flash 丢掉 pad 往往还更快。

相关:mlc-vla/docs/optimize/prefill_tvm_vs_trt.md §4.2、vit_fused_attention_codegen.md;π0.5 轮次 projects/pi05_optimize/notes/0004-prefill-varlen.md、_draft_prefill_fmha.md。