跳转至

Thor 上没确认空闲和 MAXN 就量延迟

何时打开:要在 Jetson Thor 上报 p50,或数字和上次差一截、min 明显低于 p50。

现象

同一包、同一命令,延迟能差出一截,或前几次快、后面慢。根因经常不是软件,而是:

  1. GPU 上还有别的进程(同机 chameleon eval、robot_vla、另一路 Infer)。
  2. 功耗档不是 MAXN(出厂默认常是 120W,nvpmodel.conf 里 PM_CONFIG DEFAULT=1)。
  3. 没锁时钟:DVFS 把 GPU 从 315 MHz 拉到 1.575 GHz,量的是调频器当时的心情。

2026-09-02 tz(ssh nvidia@tz -p 2231):未锁时钟 + 共机 chameleon eval 的草稿 p50 363.6 ms。同日过门禁后重测(无 compute pid、MAXN、gpu-gpc-0/gpu-nvd-0 的 min=max=cur)p50 363.9 ms,几乎不变。草稿作废的是口径,不是「锁频会快一截」。

宿主机 sudo jetson_clocks 在这台机要密码。build_docker 是 privileged 时,可在容器内把 min_freq 写成 max_freq,效果与锁 GPU 时钟相同。nvpmodel 仍以宿主机为准。

正确做法(测前门禁,缺一不可)

在宿主机上做,不要只在容器里做。nvpmodel / jetson_clocks 是宿主机工具;build_docker 里通常没有。

# 1) 无计算进程
nvidia-smi --query-compute-apps=pid,process_name,used_gpu_memory --format=csv
# 只能有表头。有 pid 就停掉或换时间,不要「利用率 0% 就算空闲」。

# 2) MAXN(ID=0)。reboot 后常掉回 120W。
sudo nvpmodel -q          # 须看到:NV Power Mode: MAXN
sudo nvpmodel -m 0        # 不是 MAXN 再切

# 3) 锁时钟
sudo jetson_clocks

锁成功后,sysfs 里 min_freq == max_freq == cur_freq(Thor 上节点名 gpu-gpc-0 / gpu-nvd-0)。容器里看不到 nvpmodel 时,以宿主机 nvpmodel -q + 容器内仍可见的 sysfs 为准。

现成门禁:mlc-vla/scripts/flashrt/thor_env.py(对齐 FlashRT machine_state())。不满足应拒绝跑,不要默默出数。

作废信号

  • nvidia-smi 还能列出别人的 compute pid。
  • nvpmodel -q 不是 MAXN。
  • min_freq != max_freq(常见 315 MHz vs 1575 MHz)。
  • 单次捕获里 min 明显低于 p50(前几次还在 boost)。

这类数不进报告、不和 FlashRT / 上次 p50 横比。重测前先过门禁。

操作清单见 playbooks/eval-compare.md。硬件表见 map/platforms.md。