首页 / Robot / G1 E2E / 仿真评测

仿真评测

中文译本 · 原文 仿真评测

在 Isaac Lab-Arena 的 Unitree G1 静态「苹果→盘子」任务里,闭环跑微调后的 GR00T 1.7。

启动 GR00T 策略 server

Server 用独立 Isaac-GR00T 1.7 检出里的 run_gr00t_server.py,先于 client 启动。在 Docker 外、安装课建好的虚拟环境里跑。

cd $ISAAC_GR00T_DIR
重要

应停在安装课指定的 Isaac-GR00T commit。微调过程中如果切过分支或拉过新代码,评测前先回到验证过的提交:

cd $ISAAC_GR00T_DIR
git checkout 4b1dca9d88d2a0b9ea5a65aa61c82ff89f5c4f0e

把 ~/IsaacLab-Arena 换成你的 Arena 路径,${MODEL_PATH} 换成微调产物目录。

想跳过后训练,可以下载已发布模型 nvidia/GN1x-Tuned-Arena-G1-Static-PickNPlace。在 Docker 外、Isaac-GR00T 虚拟环境里执行:

export MODELS_DIR=~/models/isaaclab_arena/static_apple_tutorial
export MODEL_PATH=$MODELS_DIR/gn1x_tuned_static_apple

mkdir -p "$MODEL_PATH"
hf download \
   nvidia/GN1x-Tuned-Arena-G1-Static-PickNPlace \
   --repo-type model \
   --local-dir $MODEL_PATH

如果用自己训的权重,把 MODEL_PATH 指到训练输出,例如 $MODELS_DIR/static_apple_n17_finetune/checkpoint-20000。

uv run python gr00t/eval/run_gr00t_server.py \
   --modality-config-path ~/IsaacLab-Arena/isaaclab_arena_gr00t/embodiments/g1/g1_sim_wbc_data_gr00t_n_1_7_config.py \
   --model-path ${MODEL_PATH} \
   --embodiment-tag NEW_EMBODIMENT \
   --device cuda \
   --host 0.0.0.0 \
   --port 5555

终端打出 Server Ready and listening on 0.0.0.0:5555 就可以接 client。

单环境评测

Server 开着时启动 Arena client。Client 不需要 GR00T 依赖,标准 Base Arena 容器经 ZeroMQ 通信。Gr00tRemoteClosedloopPolicy 是 Arena 对远程 GR00T server 的封装。

./docker/run_docker.sh
export DATASET_DIR=/datasets/isaaclab_arena/static_apple_tutorial
export MODELS_DIR=/models/isaaclab_arena/static_apple_tutorial

记下跑 server 的主机 IP;同一台机器用 localhost。

注意

运行前确认 isaaclab_arena_gr00t/policy/config/g1_static_apple_gr00t_closedloop_config.yaml 里的 model_path 指向正在服务的 checkpoint。Hugging Face 权重例如 /models/isaaclab_arena/static_apple_tutorial/gn1x_tuned_static_apple,本地训练例如 /models/isaaclab_arena/static_apple_tutorial/static_apple_n17_finetune/checkpoint-20000。这条路径必须和 run_gr00t_server.py 的 --model-path 一致。

/isaac-sim/python.sh isaaclab_arena/evaluation/policy_runner.py \
   --viz kit \
   --policy_type isaaclab_arena_gr00t.policy.gr00t_remote_closedloop_policy.Gr00tRemoteClosedloopPolicy \
   --policy_config_yaml_path isaaclab_arena_gr00t/policy/config/g1_static_apple_gr00t_closedloop_config.yaml \
   --remote_host localhost --remote_port 5555 \
   --num_steps 600 \
   --enable_cameras \
   galileo_g1_static_pick_and_place \
   --object apple_01_objaverse_robolab \
   --destination clay_plates_hot3d_robolab \
   --embodiment g1_wbc_agile_joint
提示

超时要调。这里用 6 秒,让机器人有一两次重试,失败回合又不会拖太久。

说明

--num_steps 600 而不是 1500,因为静态任务没有行走阶段,大约只有移动操作版一半长。600 步只是快速试跑。

要更稳地估计成功率,按完整 episode 评,而不是看一次短 rollout:

  • 粗估:--num_episodes 100。
  • 更稳:--num_episodes 1000。

若坚持用 --num_steps:galileo_g1_static_pick_and_place_environment.py 里 episode_length_s=6.0,50 Hz 控制大约每局 300 步。100 局约 --num_steps 30000,1000 局约 --num_steps 300000。

评测结束时控制台类似:

[Rank 0/1] Metrics: {'success_rate': 1.0, 'object_moved_rate': 1.0, 'num_episodes': 1}

指标覆盖整次评测,取决于策略质量、数据质量和步数。

并行环境

Policy runner 也支持并行。下面假设 GR00T server 仍在跑。5 个环境,GUI 可视化。不在本机时把 --remote_host localhost 换成 server 的 IP。

/isaac-sim/python.sh isaaclab_arena/evaluation/policy_runner.py \
   --viz kit \
   --policy_type isaaclab_arena_gr00t.policy.gr00t_remote_closedloop_policy.Gr00tRemoteClosedloopPolicy \
   --policy_config_yaml_path isaaclab_arena_gr00t/policy/config/g1_static_apple_gr00t_closedloop_config.yaml \
   --remote_host localhost \
   --remote_port 5555 \
   --num_steps 600 \
   --num_envs 5 \
   --enable_cameras \
   galileo_g1_static_pick_and_place \
   --object apple_01_objaverse_robolab \
   --destination clay_plates_hot3d_robolab \
   --embodiment g1_wbc_agile_joint
说明

server-client 架构里,策略放在哪张卡是 server 的事,由 run_gr00t_server.py 的 --device 决定。Client 的 --device 管的是 Arena 物理后端,不是策略。

评测过程中会打印哪些环境 terminated、哪些 truncated。terminated 表示任务成功条件触发,或超过 6 秒回合长度。truncated 表示超时(若启用了超时,例如超过最大回合长度)。

Resetting policy for terminated env_ids: tensor([3], device='cuda:0') and truncated env_ids: tensor([], device='cuda:0', dtype=torch.int64)
[Rank 0/1] Metrics: {'success_rate': 1.0, 'num_episodes': 5}

试验多了成功率不一定是 1.0。并行后 episode 数会高于单环境。

评测细节

闭环推理用 g1_wbc_agile_joint,和录制时的 g1_wbc_agile_pink 不同。遥操作时上半身由末端位姿经 PinkIK 实现,下半身由 AGILE WBC 控制。GR00T 1.7 学的是上半身关节位置和下半身 WBC 输入,所以评测用关节控制那一侧。

上面的命令没传 --device,Arena 用内置物理后端。数据若在 GPU 物理上录的,单环境和并行都建议加 --device cuda,让评测物理和训练对齐。若在 CPU 上录的,加 --device cpu 才能按局复现。

盘子和苹果在同一架子上,静态版比移动操作版略容易:目标始终在手臂范围内,策略不用从时机不对的接近里恢复,也没有会偏航的中间行走阶段。成功条件和移动操作版相同:接触传感器终止,force_threshold=0.5 N、velocity_threshold=0.1 m/s,并且只计与 --destination 资产的接触。

常见失败

要点

仿真工作流完成

微调后的 GR00T 1.7 已通过 Arena 的 server-client 架构评测。静态「苹果→盘子」的仿真工作流到此结束。