Thor 上没确认空闲和 MAXN 就量延迟¶
何时打开:要在 Jetson Thor 上报 p50,或数字和上次差一截、min 明显低于 p50。
现象¶
同一包、同一命令,延迟能差出一截,或前几次快、后面慢。根因经常不是软件,而是:
- GPU 上还有别的进程(同机
chameleon eval、robot_vla、另一路 Infer)。 - 功耗档不是 MAXN(出厂默认常是 120W,
nvpmodel.conf里PM_CONFIG DEFAULT=1)。 - 没锁时钟:DVFS 把 GPU 从 315 MHz 拉到 1.575 GHz,量的是调频器当时的心情。
2026-09-02 tz(ssh nvidia@tz -p 2231):未锁时钟 + 共机 chameleon eval 的草稿 p50 363.6 ms。同日过门禁后重测(无 compute pid、MAXN、gpu-gpc-0/gpu-nvd-0 的 min=max=cur)p50 363.9 ms,几乎不变。草稿作废的是口径,不是「锁频会快一截」。
宿主机 sudo jetson_clocks 在这台机要密码。build_docker 是 privileged 时,可在容器内把 min_freq 写成 max_freq,效果与锁 GPU 时钟相同。nvpmodel 仍以宿主机为准。
正确做法(测前门禁,缺一不可)¶
在宿主机上做,不要只在容器里做。nvpmodel / jetson_clocks 是宿主机工具;build_docker 里通常没有。
# 1) 无计算进程
nvidia-smi --query-compute-apps=pid,process_name,used_gpu_memory --format=csv
# 只能有表头。有 pid 就停掉或换时间,不要「利用率 0% 就算空闲」。
# 2) MAXN(ID=0)。reboot 后常掉回 120W。
sudo nvpmodel -q # 须看到:NV Power Mode: MAXN
sudo nvpmodel -m 0 # 不是 MAXN 再切
# 3) 锁时钟
sudo jetson_clocks
锁成功后,sysfs 里 min_freq == max_freq == cur_freq(Thor 上节点名 gpu-gpc-0 / gpu-nvd-0)。容器里看不到 nvpmodel 时,以宿主机 nvpmodel -q + 容器内仍可见的 sysfs 为准。
现成门禁:mlc-vla/scripts/flashrt/thor_env.py(对齐 FlashRT machine_state())。不满足应拒绝跑,不要默默出数。
作废信号¶
nvidia-smi还能列出别人的 compute pid。nvpmodel -q不是MAXN。min_freq != max_freq(常见 315 MHz vs 1575 MHz)。- 单次捕获里 min 明显低于 p50(前几次还在 boost)。
这类数不进报告、不和 FlashRT / 上次 p50 横比。重测前先过门禁。
操作清单见 playbooks/eval-compare.md。硬件表见 map/platforms.md。