仿真数据微调 GR00T
中文译本 · 原文 仿真数据微调 GR00T
用已经从 HDF5 转成 LeRobot 的遥操作示教,后训练 GR00T 1.7。
- 在独立 Isaac-GR00T 检出里跑后训练。
- 训练和推理共用 Arena 的 WBC 模态配置。
- 训练与评测的 action horizon 必须一致。
- 按 AGILE 的建议,让 checkpoint 能在闭环里跑起来。
前提:$DATASET_DIR/arena_g1_static_apple_dataset_recorded.hdf5 已录好,并已转成 LeRobot。
训练环境
后训练在独立检出 $ISAAC_GR00T_DIR 里进行,跑在 Arena 容器外面,这样 GR00T 的依赖不必和 Arena、Isaac Sim 挤在一起。
GR00T 1.7 有 30 亿参数。上游静态苹果流程用单卡配置验证过。单张 NVIDIA RTX 6000 Ada 上 20,000 步大约 2–3 小时。
算力
- GPU:至少 48 GB 显存。
- 内存:建议 128 GB 及以上。
想在云上更快训练,可以用 NVIDIA Brev 上的 H100,并装好 Isaac GR00T 前置依赖:Brev Launchable。
训练配置
| 项 | 值 |
|---|---|
| 基座 | GR00T-N1.7-3B,首次运行从 Hugging Face 下载 |
| 参与训练 | 视觉骨干、投影层、扩散模型 |
| 冻结 | LLM |
| Batch size | 12,按显存调整 |
| 步数 | 20,000 |
| Action horizon | 40 |
| 本体标签 | new_embodiment,解析为 EmbodimentTag.NEW_EMBODIMENT |
启动后训练
cd $ISAAC_GR00T_DIR
微调在容器外,DATASET_DIR 和 MODELS_DIR 要设成与 Docker 挂载对应的主机路径。
export DATASET_DIR=~/datasets/isaaclab_arena/static_apple_tutorial export MODELS_DIR=~/models/isaaclab_arena/static_apple_tutorial
--modality-config-path 必须是 Arena 克隆的绝对路径,才能从 Arena 源码注册 WBC 模态。
uv run python -m torch.distributed.run --nproc_per_node=1 --standalone \ gr00t/experiment/launch_finetune.py \ --base-model-path nvidia/GR00T-N1.7-3B \ --dataset-path $DATASET_DIR/arena_g1_static_apple_dataset_recorded/lerobot \ --output-dir $MODELS_DIR/static_apple_n17_finetune \ --modality-config-path ~/IsaacLab-Arena/isaaclab_arena_gr00t/embodiments/g1/g1_sim_wbc_data_gr00t_n_1_7_config.py \ --embodiment-tag new_embodiment \ --global-batch-size 12 \ --max-steps 20000 \ --num-gpus 1 \ --save-steps 5000 \ --save-total-limit 5 \ --no-tune-llm \ --tune-visual \ --tune-projector \ --tune-diffusion-model \ --dataloader-num-workers 8 \ --color-jitter-params brightness 0.3 contrast 0.4 saturation 0.5 hue 0.08
--modality-config-path 指向 Arena 的 g1_sim_wbc_data_gr00t_n_1_7_config.py,执行 register_modality_config(...) 后,new_embodiment 解析成 WBC 布局:5 个状态键、7 个动作键。评测时 server 读的是同一份文件,它是模态布局的唯一来源。
训练和推理的 action horizon 必须一致。action_horizon 在训练时写进扩散头,推理时改不了。评测用的 Arena server YAML 里 action_horizon: 40,与这里一致。要改成 N,两边一起改:
- 动作模态:
isaaclab_arena_gr00t/embodiments/g1/g1_sim_wbc_data_gr00t_n_1_7_config.py里delta_indices=list(range(N))。 isaaclab_arena_gr00t/policy/config/g1_static_apple_gr00t_closedloop_config.yaml里action_horizon: N和action_chunk_length: N(不超过 horizon)。
显卡更强时,按 GR00T 微调说明 调整配置。本流程建议训练视觉骨干、投影层和扩散模型。
AGILE 苹果任务建议
静态环境的下半身是 AGILE;录制时上半身走 PinkIK,评测时走直接关节控制。选错会让微调权重在 AGILE 关节运行时失效。
- 用 AGILE 录。遥操作保持默认
--embodiment g1_wbc_agile_pink。AGILE WBC 是一条端到端速度策略。 - 不要用关节本体录。用
g1_wbc_agile_pink,不用g1_wbc_agile_joint。录制器把 PinkIK 的关节空间输出写成processed_actions,这才是策略要学的。用关节本体录等于让人直接打 43 个关节目标。 --modality-config-path用 Arena 的g1_sim_wbc_data_gr00t_n_1_7_config.py。它注册NEW_EMBODIMENT,1.7 的 horizon 是 40,和评测 server 读的文件相同。- 有意识地选 horizon。默认 40 在 50 Hz 下是 800 ms 的推理块,适合大约 600 步的静态回合,也是已发布 GR00T 1.7 基座支持的上限。更小(例如 20)响应更快,但查询更频繁。再大就必须重训基座。
评测表现差时,常见原因是示教太少或质量差、训练与 server YAML 的模态或 horizon 不一致,或录制时用错了本体。
要点
已在独立 Isaac-GR00T 上用静态苹果示教后训练 GR00T 1.7。checkpoint 可以交给 Arena 的远程策略 server-client 做闭环评测。