跳转至

FlashRT 对 PI0.5 的分层优化(对照)

何时打开:要对齐本组 TRT / TVM / UniRT 的 PI05 延迟杠杆,或问 「手写路径在 ViT / prefix LLM / action expert / 调度上各做了什么」。 不要当本组实现说明,也不要把这里的数字当本机基线。

FlashRT 不在 ai_infer 组,本库不维护其源码。工作区对照: /home/nio/codes/ai_infra/r-infra/FlashRT。本组接线仍走 README.md(Chameleon)。优化轮次流程见 projects/pi05_optimize/plan.md。

数字来自 FlashRT 文档(2026-09 读仓),非本机复测。Thor 上横比前先过 lessons/thor-bench-maxn-idle.md。

架构(先分清塔)

双塔,expert 不是 MoE:

段 模型 形状
ViT SigLIP-L 27 层 224²,14×14 patch,256 tok/view,D=1152
Prefix LLM Gemma-2B 18 层 GQA 8:1,D=256;写共享 KV
Action expert Gemma-300M 18 层 × 10 步 flow-matching,chunk=10,读 prefix KV

流水线:vision → postln/projector → prefix prefill → 10 步 denoise → action。 无 ONNX / .engine:直载权重,首次标定 + Graph capture,之后 replay。

原文:FlashRT/docs/optimization-details.md、FlashRT/docs/pi05_thor_decoder_fp4_e2e.md、 FlashRT/README.md Benchmark、FlashRT/docs/benchmark_comparison.md。

文档延迟(2-view,除非另注)

平台 模式 延迟 吞吐 出处
Thor FP8 44.0 ms 23 Hz README / examples/thor/README.md
Thor NVFP4+FA4 27.17 ms 37 Hz docs/pi05_thor_decoder_fp4_e2e.md
RTX 5090 FP8 replay 17.58 ms 57 Hz README
MI350X FP8 16.4 ms 61 Hz docs/deployment_amd_pi05.md

同卡对照(口径不完全同一 session):

  • Thor:OpenPI host ~266 ms;JAL TRT FP8 ~95 ms;FlashRT FP8 44 / NVFP4 27.17。
  • 5090 四路:LeRobot 107.5 → compile 58.9 → Structures 25.6 → 手写 21.6 ms。 峰值在手写 frontend;Structures 是「不改 host 挂 kernel」。

Thor FP8 组件(optimization-details.md §2,CUDA events 合计 44 ms):

组件 FlashRT 同仓 compiler/TRT 差
SigLIP 6.3 ms 1.0 ms 输 +5.3
Encoder 19.8 ms 36.9 ms −17.1
Decoder ×10 24.5 ms 36.1 ms −11.6

对本组的含义:若 TRT/TVM 已经把 ViT 压死,增量优先打 prefix FFN/搬运 和 expert 小 batch(M=10)融合 + 静态量化,不要先抠 vision。

ViT / SigLIP

  • patch_im2col + GEMM + bias/pos,替代 HF Conv2d。
  • 多视角按 batch=nv、seq=256 独立 self-attn,不拼成长序列。
  • QKV 合并为一次 GEMM。Thor 另有 uint8 + LUT,免每帧 uint8→fp32→fp16。
  • 默认 FP8。Thor 可选 27 层 FFN NVFP4+AWQ(文档 3-view 约 47.7→34.9 ms)。
  • 无单独 vision-token KV cache:图像写入 prefix。只有 RTX/AMD cache_frames 会整段跳过 vision+encoder。Thor 手写路径每帧仍 replay SigLIP。
  • vision_pool_factor 只在 RTX/AMD。

精度坑见 lessons/pi05-flashrt-quant-dont.md。

入口:FlashRT/flash_rt/hardware/thor/shared_primitives.py(siglip_forward)、 FlashRT/flash_rt/frontends/torch/pi05_thor.py、pi05_rtx.py。

Prefix LLM(Gemma-2B)

  • Prefill 一次,KV 布局 (18, Se_max+10, 1, 256);10 步 denoise 只读 prefix 段。
  • RMSNorm (1+w) load 时 fold 进后续 QKV / GateUp。
  • rms_norm_fp8_static:norm + amax + quant 合成一发;静态 scale,消动态 QDQ。
  • 行主序贯穿,去掉 compiler 的 transpose/concat(文档:encoder 搬运 6.9→0 ms)。
  • Thor:FA4 只加速 encoder self-attn。Decoder cross-attn 留轻量 fvk (SIMT 全融合 attn 实测比 GEMM 链慢 5–7×)。
  • Encoder FFN 可 NVFP4;QKV 上 NVFP4 默认关。
  • 变长 state prompt:exact(按长度缓存图)或 fixed(单图 + seqused)。 Thor 上 FA4 与 fixed 互斥。本组离线评测用 fixed,见 README.md。

入口:FlashRT/flash_rt/hardware/thor/attn_backend.py、 FlashRT/flash_rt/models/pi05/pipeline_rtx.py(transformer_encoder)。

Action expert(Gemma-300M)

  • 固定 10 步 Euler,不是自回归 decode;无步数蒸馏。
  • 每步 Q attend [prefix + chunk];action KV 覆写同一槽,不追加。
  • 370 个 AdaRMS Dense 在 set_prompt() CPU 预计算,不进 GPU 图。
  • out-proj 预乘 -1/num_steps,步末只 residual add。
  • 层内融合:fused_adarms / gate_res_adarms / merged GeGLU (文档:decoder norm+act 11.9→1.8 ms)。
  • Thor NVFP4 打四投影(QKV/O/GU/Down),2-view 38.70→27.17 ms(1.42×)。
  • CFG:serial 或 B=2 fused;FP4 路径不支持 CFG。

入口:FlashRT/flash_rt/models/pi05/pipeline_thor.py(decoder_forward)、 FlashRT/flash_rt/frontends/torch/pi05_thor_fp4.py。

调度

  • Graph:Thor = SigLIP 图 + enc/ae 图(文档记与 upload overlap −3.9 ms); RTX/AMD = 全图 + decoder-only。节点约 2840 vs 同仓 compiler ~21000。
  • Thor capture 调度 ±2 ms,autotune 重捕。warmup 约 300 次,20 次不够。
  • 静态 FP8:首帧标定,scale 融进前序 kernel(文档:消 ~630 次动态 quant)。
  • 预分配 Kc/Vc/enc_x/noise。Native C++ tick:set_input / step / get_output。
  • RTC temporal fusion 在 host 叠 chunk,不改 graph:FlashRT/docs/rtc_temporal_fusion.md。
  • 每加一视角 +256 token,Thor 约 +6 ms。

本组 Graph 重捕代价对照:state_prompt_mode=fixed,见 domains/optimize/README.md。

平台差(对照时不要假设 Thor = RTX)

能力 Thor RTX AMD
Vision 主精度 FP8;可选 NVFP4 FFN FP8;静态 INT8 已关 FP8;不暴露 FP4
Prefix attn FA4(opt-in) FA2 aiter GQA
Expert attn fvk,不用 FA4 FA2 同 RTX 结构
cache_frames / pool 未暴露 有 有
CFG B=2 有(FP4 无) 有 —

GEMM 分核(对照代码)

和 Edge-LLM 同一原则:不同 (M,N,K) 换实现。FlashRT 不是按 SM 数算阈值, 而是按形状扫出来的 variant。Edge 对照见 trt-edge-llm-opt-map.md。

Thor π0.5 NVFP4(flash_rt/executors/fp4_utils.py、pi05_thor_fp4.py、 csrc/gemm/fp4/cutlass_fp4_gemm_variants.cu):

段 形状 实现
Encoder FFN M≈968,按 N/K pick_variant:N≥16384→V8 128×256×256;K≥8192→V1 128×256×128 cluster 2×1;否则 V6
Encoder Down 默认 宽 K encoder_down_variant=7(128×128×256);fused 路径 encoder_down_x_variant=6
Decoder 四投影 M=10 全部 v10 128×64×256 cluster 1×1×1(decoder_*_variant=10)
Decoder GeGLU skinny-M cutlass_fp4_gemm_geglu_il_hw_v10,注释:CTA 并行按 tiny M

v10 注释:SM100 NVFP4 MMA tile_M 不能低于 128;skinny-M 靠缩 N、加宽 K。 v9(cluster 2×1)想「用 cluster 补小 M」,生产 decoder 没用它。 pipeline 里 2×1 cluster 曾比孤立 µbench 慢 +2.2 ms(docs/pi05_thor_decoder_fp4_e2e.md)。

Thor π0.5 FP8 不手写分 tile:shared_primitives.py 走 cuBLASLt fp8_nn_*, 靠 tactic / 静态 descale。文档说 decoder S=10 时 launch 税让 CUTLASS 反而不如 cuBLASLt。

Orin INT8(cutlass_sm80_int8_rowwise.cu)才是 Edge 那档「小 M → 64×128」:

M ≤ 64                    → 64×128   // decoder / action-head
N in (2048, 4096]         → 64×128   // qkv 别扭 N,16 SM 上少半波
else                      → 128×128

docs/deployment_orin.md:decoder M=10 约 50→46 µs(1.08–1.12×)。 fp16out 后来去掉 N 条款,只留 M≤64(prefer_t64x128_for_fp16out)。

其它平台(不是 Thor π0.5 主路径,但同一思路):HyVLA Thor 按形状 autotune_fp8_nn_dev,小 M 换 fused quant(_small_quant_m,实测曾回退); AMD smallm_*(M≤16/48);RTX W4A4 在 GEMV / M16 / M64 / block-tile 间切。

对本组 B2:denoise M=50 的 1SM 128×256×128 偏肥的是 N。 Thor e4m3/NVFP4 下一档应对齐 FlashRT v10(缩 N),不要只抄 Edge FP16 的缩 M。

对本组优化轮次

先确认手段再编码,见 projects/pi05_optimize/plan.md §1.1。本篇只提供 外部对照杠杆,不替代本组测量。验收仍是同一 observation + 噪声下的 p50 与动作 cosine / L2,门禁见 playbooks/eval-compare.md。

另一条外部对照(NVIDIA Thor 官方 LLM runtime,搬核不换栈): trt-edge-llm-opt-map.md。