仿真评测
中文译本 · 原文 仿真评测
在 Isaac Lab-Arena 的 Unitree G1 静态「苹果→盘子」任务里,闭环跑微调后的 GR00T 1.7。
- 从独立 Isaac-GR00T 检出启动策略 server。
- Arena 作为 client,经 ZeroMQ 查询 server。
- 先单环境评测,可选再开并行环境。
- 看成功率,并对照常见的 server-client 失败。
启动 GR00T 策略 server
Server 用独立 Isaac-GR00T 1.7 检出里的 run_gr00t_server.py,先于 client 启动。在 Docker 外、安装课建好的虚拟环境里跑。
cd $ISAAC_GR00T_DIR
应停在安装课指定的 Isaac-GR00T commit。微调过程中如果切过分支或拉过新代码,评测前先回到验证过的提交:
cd $ISAAC_GR00T_DIR git checkout 4b1dca9d88d2a0b9ea5a65aa61c82ff89f5c4f0e
把 ~/IsaacLab-Arena 换成你的 Arena 路径,${MODEL_PATH} 换成微调产物目录。
想跳过后训练,可以下载已发布模型 nvidia/GN1x-Tuned-Arena-G1-Static-PickNPlace。在 Docker 外、Isaac-GR00T 虚拟环境里执行:
export MODELS_DIR=~/models/isaaclab_arena/static_apple_tutorial export MODEL_PATH=$MODELS_DIR/gn1x_tuned_static_apple mkdir -p "$MODEL_PATH" hf download \ nvidia/GN1x-Tuned-Arena-G1-Static-PickNPlace \ --repo-type model \ --local-dir $MODEL_PATH
如果用自己训的权重,把 MODEL_PATH 指到训练输出,例如 $MODELS_DIR/static_apple_n17_finetune/checkpoint-20000。
uv run python gr00t/eval/run_gr00t_server.py \
--modality-config-path ~/IsaacLab-Arena/isaaclab_arena_gr00t/embodiments/g1/g1_sim_wbc_data_gr00t_n_1_7_config.py \
--model-path ${MODEL_PATH} \
--embodiment-tag NEW_EMBODIMENT \
--device cuda \
--host 0.0.0.0 \
--port 5555
终端打出 Server Ready and listening on 0.0.0.0:5555 就可以接 client。
单环境评测
Server 开着时启动 Arena client。Client 不需要 GR00T 依赖,标准 Base Arena 容器经 ZeroMQ 通信。Gr00tRemoteClosedloopPolicy 是 Arena 对远程 GR00T server 的封装。
./docker/run_docker.sh
export DATASET_DIR=/datasets/isaaclab_arena/static_apple_tutorial export MODELS_DIR=/models/isaaclab_arena/static_apple_tutorial
记下跑 server 的主机 IP;同一台机器用 localhost。
运行前确认 isaaclab_arena_gr00t/policy/config/g1_static_apple_gr00t_closedloop_config.yaml 里的 model_path 指向正在服务的 checkpoint。Hugging Face 权重例如 /models/isaaclab_arena/static_apple_tutorial/gn1x_tuned_static_apple,本地训练例如 /models/isaaclab_arena/static_apple_tutorial/static_apple_n17_finetune/checkpoint-20000。这条路径必须和 run_gr00t_server.py 的 --model-path 一致。
/isaac-sim/python.sh isaaclab_arena/evaluation/policy_runner.py \ --viz kit \ --policy_type isaaclab_arena_gr00t.policy.gr00t_remote_closedloop_policy.Gr00tRemoteClosedloopPolicy \ --policy_config_yaml_path isaaclab_arena_gr00t/policy/config/g1_static_apple_gr00t_closedloop_config.yaml \ --remote_host localhost --remote_port 5555 \ --num_steps 600 \ --enable_cameras \ galileo_g1_static_pick_and_place \ --object apple_01_objaverse_robolab \ --destination clay_plates_hot3d_robolab \ --embodiment g1_wbc_agile_joint
超时要调。这里用 6 秒,让机器人有一两次重试,失败回合又不会拖太久。
--num_steps 600 而不是 1500,因为静态任务没有行走阶段,大约只有移动操作版一半长。600 步只是快速试跑。
要更稳地估计成功率,按完整 episode 评,而不是看一次短 rollout:
- 粗估:
--num_episodes 100。 - 更稳:
--num_episodes 1000。
若坚持用 --num_steps:galileo_g1_static_pick_and_place_environment.py 里 episode_length_s=6.0,50 Hz 控制大约每局 300 步。100 局约 --num_steps 30000,1000 局约 --num_steps 300000。
评测结束时控制台类似:
[Rank 0/1] Metrics: {'success_rate': 1.0, 'object_moved_rate': 1.0, 'num_episodes': 1}
指标覆盖整次评测,取决于策略质量、数据质量和步数。
并行环境
Policy runner 也支持并行。下面假设 GR00T server 仍在跑。5 个环境,GUI 可视化。不在本机时把 --remote_host localhost 换成 server 的 IP。
/isaac-sim/python.sh isaaclab_arena/evaluation/policy_runner.py \ --viz kit \ --policy_type isaaclab_arena_gr00t.policy.gr00t_remote_closedloop_policy.Gr00tRemoteClosedloopPolicy \ --policy_config_yaml_path isaaclab_arena_gr00t/policy/config/g1_static_apple_gr00t_closedloop_config.yaml \ --remote_host localhost \ --remote_port 5555 \ --num_steps 600 \ --num_envs 5 \ --enable_cameras \ galileo_g1_static_pick_and_place \ --object apple_01_objaverse_robolab \ --destination clay_plates_hot3d_robolab \ --embodiment g1_wbc_agile_joint
server-client 架构里,策略放在哪张卡是 server 的事,由 run_gr00t_server.py 的 --device 决定。Client 的 --device 管的是 Arena 物理后端,不是策略。
评测过程中会打印哪些环境 terminated、哪些 truncated。terminated 表示任务成功条件触发,或超过 6 秒回合长度。truncated 表示超时(若启用了超时,例如超过最大回合长度)。
Resetting policy for terminated env_ids: tensor([3], device='cuda:0') and truncated env_ids: tensor([], device='cuda:0', dtype=torch.int64)
[Rank 0/1] Metrics: {'success_rate': 1.0, 'num_episodes': 5}
试验多了成功率不一定是 1.0。并行后 episode 数会高于单环境。
评测细节
闭环推理用 g1_wbc_agile_joint,和录制时的 g1_wbc_agile_pink 不同。遥操作时上半身由末端位姿经 PinkIK 实现,下半身由 AGILE WBC 控制。GR00T 1.7 学的是上半身关节位置和下半身 WBC 输入,所以评测用关节控制那一侧。
上面的命令没传 --device,Arena 用内置物理后端。数据若在 GPU 物理上录的,单环境和并行都建议加 --device cuda,让评测物理和训练对齐。若在 CPU 上录的,加 --device cpu 才能按局复现。
盘子和苹果在同一架子上,静态版比移动操作版略容易:目标始终在手臂范围内,策略不用从时机不对的接近里恢复,也没有会偏航的中间行走阶段。成功条件和移动操作版相同:接触传感器终止,force_threshold=0.5 N、velocity_threshold=0.1 m/s,并且只计与 --destination 资产的接触。
常见失败
ValueError: Invalid action shape, expected: 23, received: 50:client 本体在等 23 维 PinkIK 动作,server 返回的是 43 自由度关节块。Client 要用--embodiment g1_wbc_agile_joint,不要用g1_wbc_agile_pink。- Client 侧
ModuleNotFoundError:--policy_type写错。用isaaclab_arena_gr00t.policy.gr00t_remote_closedloop_policy.Gr00tRemoteClosedloopPolicy,并配--policy_config_yaml_path isaaclab_arena_gr00t/policy/config/g1_static_apple_gr00t_closedloop_config.yaml。 - Server 上动作形状不匹配,例如
Action key 'left_arm''s horizon must be 40. Got 50:训练时注册的动作模态和 server 加载的不一致。用相同 horizon 重训,或让run_gr00t_server.py的--modality-config-path与 checkpoint 对齐。
要点
微调后的 GR00T 1.7 已通过 Arena 的 server-client 架构评测。静态「苹果→盘子」的仿真工作流到此结束。