跳转至

optimize

何时打开:延迟、融合、few-core CPU、CUDA Graph、图改写。

按「现象 → 约束 → 手段 → 验收」写,避免堆优化名词。

  • GPU:融合、Graph 重捕代价(例如 pi05 state_prompt_mode=fixed)。
  • CPU:线程数、OpenBLAS、按 mode 特化(避免通用图里的死分支)。
  • 验收:同一 observation + 噪声下的 p50,以及动作 cosine / L2。
  • Thor 上 p50 必须在 GPU 空闲 + MAXN + 锁时钟下取,否则数字作废。见 playbooks/eval-compare.md §0。
  • π0.5 优化轮次:先确认手段再编码,测量与测试结论经人 review 后再记笔记、合入。流程见 projects/pi05_optimize/plan.md §1.1。
  • 外部对照:FlashRT 按 ViT / prefix LLM / action expert / 调度拆的杠杆,见 models/pi05/flashrt-opt-map.md。数字不是本组基线。
  • 外部对照:TensorRT-Edge-LLM(Jetson / DRIVE Thor 官方 LLM runtime)搬核策略、不换栈,见 models/pi05/trt-edge-llm-opt-map.md。Thor 上 GEMM tile 跟 SM 数走:lessons/thor-sm-count-tile-dispatch.md。
  • CUTLASS BYOC:IR 发了 attention_bias、符号带 _cutlass,仍可能被错派到不接 bias 的 flash。见 lessons/cutlass-attention-bias-not-flash.md。
  • Relax 手写 SDPA + GQA:broadcast_to / concat(past,present) / RoPE fp32 写回是 decode 布局税。见 tvm-gqa-rope-materialize.md。