跳转至

quantize

何时打开:精度、标定、FP8 / NVFP4 / AWQ / INT8。

  • 权重量化与 scale 表:写清算法、块大小、存在哪、哪一层读。
  • 标定:数据集、percentile、缓存路径写在做标定的业务仓文档里。
  • 对拍:量化误差和采样噪声分开记。

具体数字进 decisions/ 或 lessons/,不要只写「用 FP8」。

PI05 上视觉静态 INT8、encoder QKV NVFP4、1-view NVFP4 的对照坑: lessons/pi05-flashrt-quant-dont.md。

TVM 交付 FP8:权重编包时量化(weight_mode=B),不要现场 Q;G1-D 可含 down_proj;nsys 无 e4m3 名就还没接到 tensor core: lessons/pi05-tvm-fp8-static-not-tc.md。

Edge-LLM 量化哲学(ModelOpt 管数学、repacking.py 管 MMA layout;Thor 旗舰 NVFP4): models/pi05/trt-edge-llm-opt-map.md §4。算法对照表在 Chameleon/docs/research/trt-edge-llm.md §4.2。