optimize¶
何时打开:延迟、融合、few-core CPU、CUDA Graph、图改写。
按「现象 → 约束 → 手段 → 验收」写,避免堆优化名词。
- GPU:融合、Graph 重捕代价(例如 pi05
state_prompt_mode=fixed)。 - CPU:线程数、OpenBLAS、按 mode 特化(避免通用图里的死分支)。
- 验收:同一 observation + 噪声下的 p50,以及动作 cosine / L2。
- Thor 上 p50 必须在 GPU 空闲 + MAXN + 锁时钟下取,否则数字作废。见
playbooks/eval-compare.md§0。 - π0.5 优化轮次:先确认手段再编码,测量与测试结论经人 review 后再记笔记、合入。流程见
projects/pi05_optimize/plan.md§1.1。 - 外部对照:FlashRT 按 ViT / prefix LLM / action expert / 调度拆的杠杆,见
models/pi05/flashrt-opt-map.md。数字不是本组基线。 - 外部对照:TensorRT-Edge-LLM(Jetson / DRIVE Thor 官方 LLM runtime)搬核策略、不换栈,见
models/pi05/trt-edge-llm-opt-map.md。Thor 上 GEMM tile 跟 SM 数走:lessons/thor-sm-count-tile-dispatch.md。 - CUTLASS BYOC:IR 发了
attention_bias、符号带_cutlass,仍可能被错派到不接 bias 的 flash。见lessons/cutlass-attention-bias-not-flash.md。 - Relax 手写 SDPA + GQA:
broadcast_to/concat(past,present)/ RoPE fp32 写回是 decode 布局税。见tvm-gqa-rope-materialize.md。