π0.5 TVM FP8:权重必须静态;G1-D 上 down_proj 可过门;nsys 无 e4m3 不是 tensor core¶
何时打开:编 TVM FP8 包、决定量化哪些 Linear、或看见 nvjet_qq* 以为已经是 FP8 TC。
立项数字:projects/pi05_optimize/notes/0008-fp8-static-weight.md、0009、0010。实现:mlc-vla/python/mlc_vla/quantization/fp8.py。
权重现场 Q 会把段拖垮¶
weight_mode=A 是给 TRT builder 折叠 Q/DQ 用的。--cublas 不会折,nsys 里每步 quantize(weight):
| 路径 | UniRT prefill | UniRT denoise |
|---|---|---|
| 现场 Q(0006/0007) | 148.0 | 190.2 |
| 静态 B(0008) | 82.4 | 80.8 |
TVM 交付必须 emit_fp8_gemm → weight_mode=B:编包时 w/scale 写成 float8_e4m3fn,前向只 Q 激活。TRT 预设(e4m3_prefill / e4m3_both)默认保持 A,不要改死。
量化范围(G1-D 已测)¶
| 预设 | 层 | Linear 数 | excl4 model | 备注 |
|---|---|---|---|---|
e4m3_both |
两专家 QKVO + gate_up |
180 | 0.000073 / 0.999938 | 包 pi05_g1d_fp8_e01,e2e 156.0 |
e4m3_both_mlp |
再加上 down_proj |
216 | 0.000086 / 0.999925 | 包 e01_down,e2e 142.3 |
永不量化:modulation、action_*_proj、time_mlp_*、整棵 vision.*。
全量 scale 表 432 条(含 down_proj),换预设不用重标。评测帧 0/50/100/150 不要进标定。
LIBERO 的 down_proj 结论不要直接搬¶
旧 LIBERO 归因:只量化 down_proj 动作 cosine 中位/最小 0.98584 / 0.96607。G1-D excl4 + 静态 W8A8 过门。GeGLU 中间激活离群仍在,只是这套数据和门限扛得住。新任务先测再排除。
nsys 没有 e4m3 名 = 还没接到 tensor core¶
--fp8-gemm 图上无 DQ,权重已是 fp8,但核名仍是 nvjet_hsh_* / nvjet_qqhsh_*。Thor 上 TRT FP8 常见 ~1.7×,TVM 这条路径还没有。不要再叠 Q/DQ。
后续:同机 TRT FP8 与 B2 CUTLASS 已测(_draft_fp8_tc.md,待 review)。B2 nsys 已是 SM100_MMA_F8F6F4,墙钟未赢。下一刀是 Thor 按 SM 数分 tile 或 fused_mlp,见 thor-sm-count-tile-dispatch.md、models/pi05/trt-edge-llm-opt-map.md。