首页 / Robot / G1 E2E / 仿真数据导出

仿真数据导出

中文译本 · 原文 仿真数据导出

把静态「苹果→盘子」的遥操作 HDF5 转成 LeRobot,供 GR00T 1.7 后训练。

转成 LeRobot

GR00T 1.7 吃 LeRobot 格式。转换在标准 Base Arena 容器里跑。

./docker/run_docker.sh
echo $DATASET_DIR

若未设置:

export DATASET_DIR=/datasets/isaaclab_arena/static_apple_tutorial
提示

可以用自己录的数据,也可以下载官方仿真数据集 nvidia/Arena-G1-Static-PickNPlace-Task,跳过遥操作。容器内路径用 /datasets/...,Hugging Face CLI 已装好;容器外用对应主机路径,并自行安装 huggingface_hub。

hf download \
   nvidia/Arena-G1-Static-PickNPlace-Task \
   arena_g1_static_apple_dataset_recorded_200_demos.hdf5 \
   --repo-type dataset \
   --local-dir $DATASET_DIR

mv "$DATASET_DIR/arena_g1_static_apple_dataset_recorded_200_demos.hdf5" \
   "$DATASET_DIR/arena_g1_static_apple_dataset_recorded.hdf5"

改名后,默认 g1_static_apple_config.yaml 不用改 hdf5_name 就能用这份发布数据。

注意

convert_hdf5_to_lerobot.py 要求每条 episode 在 observations/camera_obs/robot_head_cam_rgb 下有第一人称 RGB(配置里的 pov_cam_name_sim)。大批量采集前,先拿一段短录制跑一次转换,确认布局对得上。

编辑 isaaclab_arena_gr00t/lerobot/config/g1_static_apple_config.yaml:

python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \
  --yaml_file isaaclab_arena_gr00t/lerobot/config/g1_static_apple_config.yaml

产物在 $DATASET_DIR/arena_g1_static_apple_dataset_recorded/lerobot:状态与动作的 parquet、相机 MP4,以及数据集元数据。

提示

要分享或在云上后训练,可以把 LeRobot 目录传到 Hugging Face Hub。先 hf auth login,把 <your-username> 换成你的用户名或组织。

hf upload \
  <your-username>/my_apple_sim_datasets \
  $DATASET_DIR/arena_g1_static_apple_dataset_recorded/lerobot \
  . \
  --repo-type dataset

转换配置

转换器由 isaaclab_arena_gr00t/lerobot/config/g1_static_apple_config.yaml 控制。示例:

# Input/Output paths
data_root: /datasets/isaaclab_arena/static_apple_tutorial
hdf5_name: "arena_g1_static_apple_dataset_recorded.hdf5"

# Task description
language_instruction: "move the apple to the plate"
task_index: 3

# Data field mappings
state_name_sim: "robot_joint_pos"
action_name_sim: "processed_actions"
pov_cam_name_sim: "robot_head_cam_rgb"

# Output configuration
fps: 50
chunks_size: 1000

和移动操作箱子配置 g1_locomanip_config.yaml 的主要差别是 data_root、hdf5_name 指向静态苹果数据集,以及语言指令换成静态任务。43 自由度动作布局、本体标签、模态模板和关节空间配置与移动操作版共用。静态工作流不需要单独的 GR00T 本体配置:上半身动作通道和观测模态相同,录制时身体通道始终为 0。

说明

录制器的 processed_actions 已经是遥操作时 PinkIK 算出的 43 自由度关节空间目标。所以录制用 g1_wbc_agile_pink,评测用 g1_wbc_agile_joint:策略看不到 PinkIK 吃进去的末端位姿,只看到 PinkIK 吐出来的关节目标。

要点

静态苹果 HDF5 已转成 LeRobot,可以在独立 Isaac-GR00T 检出里做 GR00T 1.7 后训练。