跳转至

playbook: eval / compare / bench

何时打开:已经确认入口是 Chameleon,要选 YAML、跑对拍或延迟。精度对点从哪仓进见 precision-align.md。

延迟数字(p50 / Hz)在 Thor 上必须先过 §0。 精度对点不锁时钟也可以跑,但报告里的 ms 仍按 §0。没过门禁的数不进报告。踩坑见 lessons/thor-bench-maxn-idle.md。

0. Thor 测前(宿主机)

nvpmodel / jetson_clocks 在宿主机。build_docker 里通常没有这两个命令。

查 通过
nvidia-smi --query-compute-apps=pid,process_name,used_gpu_memory --format=csv 只有表头,无 pid
sudo nvpmodel -q NV Power Mode: MAXN(-m 0)。默认档常是 120W,reboot 会掉回去
sudo jetson_clocks 之后 sysfs min_freq==max_freq==cur_freq Thor 节点 gpu-gpc-0 / gpu-nvd-0

脚本门禁:mlc-vla/scripts/flashrt/thor_env.py。同机常见占卡:chameleon eval、robot_vla、另一路 apex_cli。利用率 0% 但 compute pid 还在,算占用。

ApexInfer / apex_cli --repeat 的延迟同一套门禁,不因为没走 Chameleon 就跳过。

1. 选 YAML 再跑

  1. 选 YAML:configs/<model>/ 下 *_eval.yaml / *_compare.yaml / *_bench.yaml。
  2. compare 必须 compare_mode: true 且 noise: fixed。
  3. 双路同时在位时 PT 默认 CPU(pt_device),避免和后端抢显存。
  4. bench 串行跑 backends 列表,表头以第一项为基准。
  5. 数字不对先查:输入链、norm_stats、噪声、state pad,再查 kernel。报告里写机器、容器、是否 MAXN、是否锁时钟、当时有无占卡进程。