仿真数据导出
中文译本 · 原文 仿真数据导出
把静态「苹果→盘子」的遥操作 HDF5 转成 LeRobot,供 GR00T 1.7 后训练。
- 在 Arena 容器里确认数据集目录。
- 核对 HDF5 转换配置。
- 把录制的 HDF5 转成 LeRobot。
- 认出转换产物。
转成 LeRobot
GR00T 1.7 吃 LeRobot 格式。转换在标准 Base Arena 容器里跑。
./docker/run_docker.sh
echo $DATASET_DIR
若未设置:
export DATASET_DIR=/datasets/isaaclab_arena/static_apple_tutorial
可以用自己录的数据,也可以下载官方仿真数据集 nvidia/Arena-G1-Static-PickNPlace-Task,跳过遥操作。容器内路径用 /datasets/...,Hugging Face CLI 已装好;容器外用对应主机路径,并自行安装 huggingface_hub。
hf download \ nvidia/Arena-G1-Static-PickNPlace-Task \ arena_g1_static_apple_dataset_recorded_200_demos.hdf5 \ --repo-type dataset \ --local-dir $DATASET_DIR mv "$DATASET_DIR/arena_g1_static_apple_dataset_recorded_200_demos.hdf5" \ "$DATASET_DIR/arena_g1_static_apple_dataset_recorded.hdf5"
改名后,默认 g1_static_apple_config.yaml 不用改 hdf5_name 就能用这份发布数据。
convert_hdf5_to_lerobot.py 要求每条 episode 在 observations/camera_obs/robot_head_cam_rgb 下有第一人称 RGB(配置里的 pov_cam_name_sim)。大批量采集前,先拿一段短录制跑一次转换,确认布局对得上。
编辑 isaaclab_arena_gr00t/lerobot/config/g1_static_apple_config.yaml:
hdf5_name与录制文件一致,本例是arena_g1_static_apple_dataset_recorded.hdf5。data_root与$DATASET_DIR一致。
python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \ --yaml_file isaaclab_arena_gr00t/lerobot/config/g1_static_apple_config.yaml
产物在 $DATASET_DIR/arena_g1_static_apple_dataset_recorded/lerobot:状态与动作的 parquet、相机 MP4,以及数据集元数据。
要分享或在云上后训练,可以把 LeRobot 目录传到 Hugging Face Hub。先 hf auth login,把 <your-username> 换成你的用户名或组织。
hf upload \ <your-username>/my_apple_sim_datasets \ $DATASET_DIR/arena_g1_static_apple_dataset_recorded/lerobot \ . \ --repo-type dataset
转换配置
转换器由 isaaclab_arena_gr00t/lerobot/config/g1_static_apple_config.yaml 控制。示例:
# Input/Output paths data_root: /datasets/isaaclab_arena/static_apple_tutorial hdf5_name: "arena_g1_static_apple_dataset_recorded.hdf5" # Task description language_instruction: "move the apple to the plate" task_index: 3 # Data field mappings state_name_sim: "robot_joint_pos" action_name_sim: "processed_actions" pov_cam_name_sim: "robot_head_cam_rgb" # Output configuration fps: 50 chunks_size: 1000
和移动操作箱子配置 g1_locomanip_config.yaml 的主要差别是 data_root、hdf5_name 指向静态苹果数据集,以及语言指令换成静态任务。43 自由度动作布局、本体标签、模态模板和关节空间配置与移动操作版共用。静态工作流不需要单独的 GR00T 本体配置:上半身动作通道和观测模态相同,录制时身体通道始终为 0。
录制器的 processed_actions 已经是遥操作时 PinkIK 算出的 43 自由度关节空间目标。所以录制用 g1_wbc_agile_pink,评测用 g1_wbc_agile_joint:策略看不到 PinkIK 吃进去的末端位姿,只看到 PinkIK 吐出来的关节目标。
要点
静态苹果 HDF5 已转成 LeRobot,可以在独立 Isaac-GR00T 检出里做 GR00T 1.7 后训练。