跳转至

PI05 视觉静态 INT8 / encoder QKV NVFP4 / 1-view NVFP4 不要当默认

何时打开:要把 PI05 的 SigLIP 或 prefix QKV 压到 INT8 / NVFP4,或 1-view Thor 上 NVFP4 对点过不了门。

对照来源是工作区 FlashRT(不在 ai_infer 组)文档记载,不是本组复测。 分层手段总表见 models/pi05/flashrt-opt-map.md。

现象与正确做法

Vision 静态 per-tensor INT8

  • 现象:RTX 上 encoder cosine 从约 0.991 掉到 0.282。
  • 做法:FlashRT 已永久关闭该路径。动态 per-row INT8 仅 opt-in 且未充分验证。
  • 原文:FlashRT/flash_rt/frontends/torch/pi05_rtx.py(vision INT8 注释)。

Encoder QKV 上 NVFP4

  • 现象:3-view 约 +0.36 ms,raw cosine 变差(文档 0.99833→0.99661)。带宽不占优。
  • 做法:QKV 保持 FP8。NVFP4 优先打 FFN / decoder 四投影,不要先打 QKV。
  • 原文:FlashRT/docs/pi05_thor_decoder_fp4_e2e.md(encoder QKV NVFP4 默认关)。

1-view NVFP4 动作 cosine

  • 现象:相对 FP8 最差样本约 0.971,过不了 0.995 门。单视角 flow-matching 场靠近决策边界,轨迹会落到另一 basin,不完全是量化噪声。
  • 做法:2/3-view 的 NVFP4 数字才能和 FP8 横比。1-view 要用文档里的保真配置 (E0M3+RHT 等),不要拿 23.01 ms 当已过门的生产数。
  • 原文:FlashRT/README.md Benchmark 脚注;docs/pi05_thor_decoder_fp4_e2e.md one-view fidelity。

本组量化约定见 domains/quantize/README.md。 验收仍走 Chameleon 对拍,不要只信 FlashRT 文档数字。