跳转至

playbook: 把 FlashRT GeGLU 编进 TVM 产物

何时打开:要在 Relax 图里用 FlashRT 的 elementwise GeGLU,或查「FlashRT 怎么编、TVM 怎么调」。
不是编译整个 FlashRT 工程,也不是移植 FlashRT encoder。

立项:fp16 单档暂不启用见 projects/pi05_optimize/notes/_draft_geglu.md; GeGLU+Q 已合入正式基线(0011,包 pi05_g1d_fp8_e01_down_gegluq)。跟踪文档:Chameleon/docs/flashRT/llm.md R2。

0. 编译 FlashRT(本路径)

只吃源码,不跑 FlashRT 的 CMake / pip。

需要:FlashRT/csrc/kernels/activation.cuh + activation.cu、nvcc、mlc_vla/kernels/flashrt/shim.cu。

shim.cu 单 TU #include "kernels/activation.cu"。nn.SourceModule 调 nvcc:

-I $FLASHRT/csrc
-gencode=arch=compute_${ARCH},code=sm_${ARCH}

export_library(..., cc="nvcc") 链进 model.so。导出符号必须是 __tvm_ffi_flashrt_geglu。

环境变量 作用
MLC_VLA_FLASHRT_ROOT FlashRT 仓库根。不设则找与 mlc-vla 同级的 FlashRT/
MLC_VLA_FLASHRT_ARCH SM 号。Thor / 交叉编 Thor 钉 110,否则按本机 GPU
TVM_CUDA_COMPILE_MODE=nvcc 避免 NVRTC 编 cuda_fp8.hpp 挂

available() = 源码树 + shim + nvcc。--set flashrt=true 但 available() 为假 → resolve 整包回落,图仍是 dlight。

shim 里的 C 符号必须跟编译机上那份 activation.cuh 一致。本机现名 gate_geglu_merged_*;Thor 上曾长期是旧名 gate_silu_mul_merged_*(公式仍是 tanh GELU,不是 SiLU)。新 shim 拷到旧树上会链接失败。

1. 在 TVM 里用

--set flashrt=true → Pi0Config.flashrt。

  • 无 FP8 down_proj:GemmaExpertMLP._geglu 发 flashrt.geglu(fp16/bf16 → 同 dtype)。
  • down_proj 是 FP8Linear 且 emit_fp8_gemm:发 flashrt.geglu_fp8(merged, input_scale), e4m3 直接进 forward_prequantized,不再单独 quantize。笔记 projects/pi05_optimize/notes/0011-fused-mlp-gegluq.md。

接口(fp16 版):[..., 2H] → [..., H],前 H=gate、后 H=up,out = gelu_tanh(gate)*up。 GeGLU+Q:scale 必须是 fp32 设备标量;Thor 旧树符号是 gate_silu_mul_merged_fp8_fp16, shim 编时按头文件 -D 改名。

自己接:

from mlc_vla.kernels import flashrt
if flashrt.geglu_supported(merged):
    hidden = flashrt.geglu(merged)

探针:python -m mlc_vla.tools.probe_flashrt_kernels(available=True,cosine ≥ 0.9999)。

编完立刻:nm -D model.so | grep flashrt_geglu。没有就停。attn 应仍是 attention_var_len(若从 varlen 出发)。

2. 硬约束

  1. 取流用 TVMFFIEnvGetStream。硬编码 0:不开 Graph 正常,一开 cudaErrorInvalidValue。
  2. TVM_FFI_DLL_EXPORT_TYPED_FUNC,否则 VM 报 Cannot find ffi::Function。
  3. DPS:输出 TVM 预分配;kernel 内不许 cudaMalloc / 同步 / 默认流。
  4. 不要给整段 gate_up 加 EPILOGUE_GELU(会错激活 up)。
  5. shim 里 #include 同目录的头文件要在编译选项里补 -I <shim 所在目录>——SourceModule.compile 是把 shim 的内容写到临时目录再在那里编的。

3. 多输出的核

本篇流程只覆盖单输出。出两个及以上张量的核(例如 residual_add_rms_norm_fp8 要同时给出新残差和 e4m3 激活)不能走 ExternModule.__getitem__,得自己构 call_dps_packed:见 ../lessons/tvm-sourcemodule-multi-output.md。落地实例是 notes/0012-prefill-res-rms-fp8.md(prefill 因此超过同机 TRT FP8)。