FlashRT 对 PI0.5 的分层优化(对照)¶
何时打开:要对齐本组 TRT / TVM / UniRT 的 PI05 延迟杠杆,或问 「手写路径在 ViT / prefix LLM / action expert / 调度上各做了什么」。 不要当本组实现说明,也不要把这里的数字当本机基线。
FlashRT 不在 ai_infer 组,本库不维护其源码。工作区对照:
/home/nio/codes/ai_infra/r-infra/FlashRT。本组接线仍走
README.md(Chameleon)。优化轮次流程见
projects/pi05_optimize/plan.md。
数字来自 FlashRT 文档(2026-09 读仓),非本机复测。Thor 上横比前先过
lessons/thor-bench-maxn-idle.md。
架构(先分清塔)¶
双塔,expert 不是 MoE:
| 段 | 模型 | 形状 |
|---|---|---|
| ViT | SigLIP-L 27 层 | 224²,14×14 patch,256 tok/view,D=1152 |
| Prefix LLM | Gemma-2B 18 层 | GQA 8:1,D=256;写共享 KV |
| Action expert | Gemma-300M 18 层 × 10 步 | flow-matching,chunk=10,读 prefix KV |
流水线:vision → postln/projector → prefix prefill → 10 步 denoise → action。
无 ONNX / .engine:直载权重,首次标定 + Graph capture,之后 replay。
原文:FlashRT/docs/optimization-details.md、FlashRT/docs/pi05_thor_decoder_fp4_e2e.md、
FlashRT/README.md Benchmark、FlashRT/docs/benchmark_comparison.md。
文档延迟(2-view,除非另注)¶
| 平台 | 模式 | 延迟 | 吞吐 | 出处 |
|---|---|---|---|---|
| Thor | FP8 | 44.0 ms | 23 Hz | README / examples/thor/README.md |
| Thor | NVFP4+FA4 | 27.17 ms | 37 Hz | docs/pi05_thor_decoder_fp4_e2e.md |
| RTX 5090 | FP8 replay | 17.58 ms | 57 Hz | README |
| MI350X | FP8 | 16.4 ms | 61 Hz | docs/deployment_amd_pi05.md |
同卡对照(口径不完全同一 session):
- Thor:OpenPI host ~266 ms;JAL TRT FP8 ~95 ms;FlashRT FP8 44 / NVFP4 27.17。
- 5090 四路:LeRobot 107.5 → compile 58.9 → Structures 25.6 → 手写 21.6 ms。 峰值在手写 frontend;Structures 是「不改 host 挂 kernel」。
Thor FP8 组件(optimization-details.md §2,CUDA events 合计 44 ms):
| 组件 | FlashRT | 同仓 compiler/TRT | 差 |
|---|---|---|---|
| SigLIP | 6.3 ms | 1.0 ms | 输 +5.3 |
| Encoder | 19.8 ms | 36.9 ms | −17.1 |
| Decoder ×10 | 24.5 ms | 36.1 ms | −11.6 |
对本组的含义:若 TRT/TVM 已经把 ViT 压死,增量优先打 prefix FFN/搬运 和 expert 小 batch(M=10)融合 + 静态量化,不要先抠 vision。
ViT / SigLIP¶
patch_im2col+ GEMM + bias/pos,替代 HF Conv2d。- 多视角按 batch=nv、seq=256 独立 self-attn,不拼成长序列。
- QKV 合并为一次 GEMM。Thor 另有 uint8 + LUT,免每帧 uint8→fp32→fp16。
- 默认 FP8。Thor 可选 27 层 FFN NVFP4+AWQ(文档 3-view 约 47.7→34.9 ms)。
- 无单独 vision-token KV cache:图像写入 prefix。只有 RTX/AMD
cache_frames会整段跳过 vision+encoder。Thor 手写路径每帧仍 replay SigLIP。 vision_pool_factor只在 RTX/AMD。
精度坑见 lessons/pi05-flashrt-quant-dont.md。
入口:FlashRT/flash_rt/hardware/thor/shared_primitives.py(siglip_forward)、
FlashRT/flash_rt/frontends/torch/pi05_thor.py、pi05_rtx.py。
Prefix LLM(Gemma-2B)¶
- Prefill 一次,KV 布局
(18, Se_max+10, 1, 256);10 步 denoise 只读 prefix 段。 - RMSNorm
(1+w)load 时 fold 进后续 QKV / GateUp。 rms_norm_fp8_static:norm + amax + quant 合成一发;静态 scale,消动态 QDQ。- 行主序贯穿,去掉 compiler 的 transpose/concat(文档:encoder 搬运 6.9→0 ms)。
- Thor:FA4 只加速 encoder self-attn。Decoder cross-attn 留轻量 fvk (SIMT 全融合 attn 实测比 GEMM 链慢 5–7×)。
- Encoder FFN 可 NVFP4;QKV 上 NVFP4 默认关。
- 变长 state prompt:
exact(按长度缓存图)或fixed(单图 + seqused)。 Thor 上 FA4 与fixed互斥。本组离线评测用fixed,见README.md。
入口:FlashRT/flash_rt/hardware/thor/attn_backend.py、
FlashRT/flash_rt/models/pi05/pipeline_rtx.py(transformer_encoder)。
Action expert(Gemma-300M)¶
- 固定 10 步 Euler,不是自回归 decode;无步数蒸馏。
- 每步 Q attend
[prefix + chunk];action KV 覆写同一槽,不追加。 - 370 个 AdaRMS Dense 在
set_prompt()CPU 预计算,不进 GPU 图。 out-proj预乘-1/num_steps,步末只 residual add。- 层内融合:
fused_adarms/gate_res_adarms/ merged GeGLU (文档:decoder norm+act 11.9→1.8 ms)。 - Thor NVFP4 打四投影(QKV/O/GU/Down),2-view 38.70→27.17 ms(1.42×)。
- CFG:serial 或 B=2 fused;FP4 路径不支持 CFG。
入口:FlashRT/flash_rt/models/pi05/pipeline_thor.py(decoder_forward)、
FlashRT/flash_rt/frontends/torch/pi05_thor_fp4.py。
调度¶
- Graph:Thor = SigLIP 图 + enc/ae 图(文档记与 upload overlap −3.9 ms); RTX/AMD = 全图 + decoder-only。节点约 2840 vs 同仓 compiler ~21000。
- Thor capture 调度 ±2 ms,
autotune重捕。warmup 约 300 次,20 次不够。 - 静态 FP8:首帧标定,scale 融进前序 kernel(文档:消 ~630 次动态 quant)。
- 预分配
Kc/Vc/enc_x/noise。Native C++ tick:set_input / step / get_output。 - RTC temporal fusion 在 host 叠 chunk,不改 graph:
FlashRT/docs/rtc_temporal_fusion.md。 - 每加一视角 +256 token,Thor 约 +6 ms。
本组 Graph 重捕代价对照:state_prompt_mode=fixed,见
domains/optimize/README.md。
平台差(对照时不要假设 Thor = RTX)¶
| 能力 | Thor | RTX | AMD |
|---|---|---|---|
| Vision 主精度 | FP8;可选 NVFP4 FFN | FP8;静态 INT8 已关 | FP8;不暴露 FP4 |
| Prefix attn | FA4(opt-in) | FA2 | aiter GQA |
| Expert attn | fvk,不用 FA4 | FA2 | 同 RTX 结构 |
cache_frames / pool |
未暴露 | 有 | 有 |
| CFG B=2 | 有(FP4 无) | 有 | — |
GEMM 分核(对照代码)¶
和 Edge-LLM 同一原则:不同 (M,N,K) 换实现。FlashRT 不是按 SM 数算阈值,
而是按形状扫出来的 variant。Edge 对照见 trt-edge-llm-opt-map.md。
Thor π0.5 NVFP4(flash_rt/executors/fp4_utils.py、pi05_thor_fp4.py、
csrc/gemm/fp4/cutlass_fp4_gemm_variants.cu):
| 段 | 形状 | 实现 |
|---|---|---|
| Encoder FFN | M≈968,按 N/K | pick_variant:N≥16384→V8 128×256×256;K≥8192→V1 128×256×128 cluster 2×1;否则 V6 |
| Encoder Down 默认 | 宽 K | encoder_down_variant=7(128×128×256);fused 路径 encoder_down_x_variant=6 |
| Decoder 四投影 | M=10 | 全部 v10 128×64×256 cluster 1×1×1(decoder_*_variant=10) |
| Decoder GeGLU | skinny-M | cutlass_fp4_gemm_geglu_il_hw_v10,注释:CTA 并行按 tiny M |
v10 注释:SM100 NVFP4 MMA tile_M 不能低于 128;skinny-M 靠缩 N、加宽 K。
v9(cluster 2×1)想「用 cluster 补小 M」,生产 decoder 没用它。
pipeline 里 2×1 cluster 曾比孤立 µbench 慢 +2.2 ms(docs/pi05_thor_decoder_fp4_e2e.md)。
Thor π0.5 FP8 不手写分 tile:shared_primitives.py 走 cuBLASLt fp8_nn_*,
靠 tactic / 静态 descale。文档说 decoder S=10 时 launch 税让 CUTLASS 反而不如 cuBLASLt。
Orin INT8(cutlass_sm80_int8_rowwise.cu)才是 Edge 那档「小 M → 64×128」:
M ≤ 64 → 64×128 // decoder / action-head
N in (2048, 4096] → 64×128 // qkv 别扭 N,16 SM 上少半波
else → 128×128
docs/deployment_orin.md:decoder M=10 约 50→46 µs(1.08–1.12×)。
fp16out 后来去掉 N 条款,只留 M≤64(prefer_t64x128_for_fp16out)。
其它平台(不是 Thor π0.5 主路径,但同一思路):HyVLA Thor 按形状
autotune_fp8_nn_dev,小 M 换 fused quant(_small_quant_m,实测曾回退);
AMD smallm_*(M≤16/48);RTX W4A4 在 GEMV / M16 / M64 / block-tile 间切。
对本组 B2:denoise M=50 的 1SM 128×256×128 偏肥的是 N。
Thor e4m3/NVFP4 下一档应对齐 FlashRT v10(缩 N),不要只抄 Edge FP16 的缩 M。
对本组优化轮次¶
先确认手段再编码,见 projects/pi05_optimize/plan.md §1.1。本篇只提供
外部对照杠杆,不替代本组测量。验收仍是同一 observation + 噪声下的 p50
与动作 cosine / L2,门禁见 playbooks/eval-compare.md。
另一条外部对照(NVIDIA Thor 官方 LLM runtime,搬核不换栈):
trt-edge-llm-opt-map.md。