跳转至

π0.5 TVM FP8:权重必须静态;G1-D 上 down_proj 可过门;nsys 无 e4m3 不是 tensor core

何时打开:编 TVM FP8 包、决定量化哪些 Linear、或看见 nvjet_qq* 以为已经是 FP8 TC。

立项数字:projects/pi05_optimize/notes/0008-fp8-static-weight.md、0009、0010。实现:mlc-vla/python/mlc_vla/quantization/fp8.py。

权重现场 Q 会把段拖垮

weight_mode=A 是给 TRT builder 折叠 Q/DQ 用的。--cublas 不会折,nsys 里每步 quantize(weight):

路径 UniRT prefill UniRT denoise
现场 Q(0006/0007) 148.0 190.2
静态 B(0008) 82.4 80.8

TVM 交付必须 emit_fp8_gemm → weight_mode=B:编包时 w/scale 写成 float8_e4m3fn,前向只 Q 激活。TRT 预设(e4m3_prefill / e4m3_both)默认保持 A,不要改死。

量化范围(G1-D 已测)

预设 层 Linear 数 excl4 model 备注
e4m3_both 两专家 QKVO + gate_up 180 0.000073 / 0.999938 包 pi05_g1d_fp8_e01,e2e 156.0
e4m3_both_mlp 再加上 down_proj 216 0.000086 / 0.999925 包 e01_down,e2e 142.3

永不量化:modulation、action_*_proj、time_mlp_*、整棵 vision.*。

全量 scale 表 432 条(含 down_proj),换预设不用重标。评测帧 0/50/100/150 不要进标定。

LIBERO 的 down_proj 结论不要直接搬

旧 LIBERO 归因:只量化 down_proj 动作 cosine 中位/最小 0.98584 / 0.96607。G1-D excl4 + 静态 W8A8 过门。GeGLU 中间激活离群仍在,只是这套数据和门限扛得住。新任务先测再排除。

nsys 没有 e4m3 名 = 还没接到 tensor core

--fp8-gemm 图上无 DQ,权重已是 fp8,但核名仍是 nvjet_hsh_* / nvjet_qqhsh_*。Thor 上 TRT FP8 常见 ~1.7×,TVM 这条路径还没有。不要再叠 Q/DQ。

后续:同机 TRT FP8 与 B2 CUTLASS 已测(_draft_fp8_tc.md,待 review)。B2 nsys 已是 SM100_MMA_F8F6F4,墙钟未赢。下一刀是 Thor 按 SM 数分 tile 或 fused_mlp,见 thor-sm-count-tile-dispatch.md、models/pi05/trt-edge-llm-opt-map.md。