playbook: 把 FlashRT GeGLU 编进 TVM 产物¶
何时打开:要在 Relax 图里用 FlashRT 的 elementwise GeGLU,或查「FlashRT 怎么编、TVM 怎么调」。
不是编译整个 FlashRT 工程,也不是移植 FlashRT encoder。
立项:fp16 单档暂不启用见 projects/pi05_optimize/notes/_draft_geglu.md;
GeGLU+Q 已合入正式基线(0011,包 pi05_g1d_fp8_e01_down_gegluq)。跟踪文档:Chameleon/docs/flashRT/llm.md R2。
0. 编译 FlashRT(本路径)¶
只吃源码,不跑 FlashRT 的 CMake / pip。
需要:FlashRT/csrc/kernels/activation.cuh + activation.cu、nvcc、mlc_vla/kernels/flashrt/shim.cu。
shim.cu 单 TU #include "kernels/activation.cu"。nn.SourceModule 调 nvcc:
export_library(..., cc="nvcc") 链进 model.so。导出符号必须是 __tvm_ffi_flashrt_geglu。
| 环境变量 | 作用 |
|---|---|
MLC_VLA_FLASHRT_ROOT |
FlashRT 仓库根。不设则找与 mlc-vla 同级的 FlashRT/ |
MLC_VLA_FLASHRT_ARCH |
SM 号。Thor / 交叉编 Thor 钉 110,否则按本机 GPU |
TVM_CUDA_COMPILE_MODE=nvcc |
避免 NVRTC 编 cuda_fp8.hpp 挂 |
available() = 源码树 + shim + nvcc。--set flashrt=true 但 available() 为假 → resolve 整包回落,图仍是 dlight。
shim 里的 C 符号必须跟编译机上那份 activation.cuh 一致。本机现名 gate_geglu_merged_*;Thor 上曾长期是旧名 gate_silu_mul_merged_*(公式仍是 tanh GELU,不是 SiLU)。新 shim 拷到旧树上会链接失败。
1. 在 TVM 里用¶
--set flashrt=true → Pi0Config.flashrt。
- 无 FP8
down_proj:GemmaExpertMLP._geglu发flashrt.geglu(fp16/bf16 → 同 dtype)。 down_proj是FP8Linear且emit_fp8_gemm:发flashrt.geglu_fp8(merged, input_scale), e4m3 直接进forward_prequantized,不再单独quantize。笔记projects/pi05_optimize/notes/0011-fused-mlp-gegluq.md。
接口(fp16 版):[..., 2H] → [..., H],前 H=gate、后 H=up,out = gelu_tanh(gate)*up。
GeGLU+Q:scale 必须是 fp32 设备标量;Thor 旧树符号是 gate_silu_mul_merged_fp8_fp16,
shim 编时按头文件 -D 改名。
自己接:
from mlc_vla.kernels import flashrt
if flashrt.geglu_supported(merged):
hidden = flashrt.geglu(merged)
探针:python -m mlc_vla.tools.probe_flashrt_kernels(available=True,cosine ≥ 0.9999)。
编完立刻:nm -D model.so | grep flashrt_geglu。没有就停。attn 应仍是 attention_var_len(若从 varlen 出发)。
2. 硬约束¶
- 取流用
TVMFFIEnvGetStream。硬编码0:不开 Graph 正常,一开cudaErrorInvalidValue。 TVM_FFI_DLL_EXPORT_TYPED_FUNC,否则 VM 报Cannot find ffi::Function。- DPS:输出 TVM 预分配;kernel 内不许
cudaMalloc/ 同步 / 默认流。 - 不要给整段
gate_up加EPILOGUE_GELU(会错激活up)。 - shim 里
#include同目录的头文件要在编译选项里补-I <shim 所在目录>——SourceModule.compile是把 shim 的内容写到临时目录再在那里编的。
3. 多输出的核¶
本篇流程只覆盖单输出。出两个及以上张量的核(例如 residual_add_rms_norm_fp8 要同时给出新残差和 e4m3 激活)不能走 ExternModule.__getitem__,得自己构 call_dps_packed:见 ../lessons/tvm-sourcemodule-multi-output.md。落地实例是 notes/0012-prefill-res-rms-fp8.md(prefill 因此超过同机 TRT FP8)。