playbook: eval / compare / bench¶
何时打开:已经确认入口是 Chameleon,要选 YAML、跑对拍或延迟。精度对点从哪仓进见 precision-align.md。
延迟数字(p50 / Hz)在 Thor 上必须先过 §0。 精度对点不锁时钟也可以跑,但报告里的 ms 仍按 §0。没过门禁的数不进报告。踩坑见 lessons/thor-bench-maxn-idle.md。
0. Thor 测前(宿主机)¶
nvpmodel / jetson_clocks 在宿主机。build_docker 里通常没有这两个命令。
| 查 | 通过 |
|---|---|
nvidia-smi --query-compute-apps=pid,process_name,used_gpu_memory --format=csv |
只有表头,无 pid |
sudo nvpmodel -q |
NV Power Mode: MAXN(-m 0)。默认档常是 120W,reboot 会掉回去 |
sudo jetson_clocks 之后 sysfs min_freq==max_freq==cur_freq |
Thor 节点 gpu-gpc-0 / gpu-nvd-0 |
脚本门禁:mlc-vla/scripts/flashrt/thor_env.py。同机常见占卡:chameleon eval、robot_vla、另一路 apex_cli。利用率 0% 但 compute pid 还在,算占用。
ApexInfer / apex_cli --repeat 的延迟同一套门禁,不因为没走 Chameleon 就跳过。
1. 选 YAML 再跑¶
- 选 YAML:
configs/<model>/下*_eval.yaml/*_compare.yaml/*_bench.yaml。 - compare 必须
compare_mode: true且noise: fixed。 - 双路同时在位时 PT 默认 CPU(
pt_device),避免和后端抢显存。 - bench 串行跑
backends列表,表头以第一项为基准。 - 数字不对先查:输入链、norm_stats、噪声、state pad,再查 kernel。报告里写机器、容器、是否 MAXN、是否锁时钟、当时有无占卡进程。