真机数据微调 GR00T
中文译本 · 原文 真机数据微调 GR00T
在转好的 LeRobot 数据集上微调 GR00T 1.7,并准备导出和部署用的产物。
- 启动前核对数据集元数据和模态配置。
- 在真机数据上微调 GR00T 1.7。
- 找到给 LEAPP 导出用的 checkpoint。
在 x86_64 工作站上跑,GPU 至少是 L40 这一档(40 GB 以上显存)。Unitree G1 微调和后续导出用 nvidia-isaac/gr00t-leapp-export 的 gr00t_workflow_0.1 标签。
提示
想跳过微调,用官方真机模型 nvidia/GR00T-N1.7-ApplePnP-V1。
git clone --branch gr00t_workflow_0.1 --recurse-submodules https://github.com/nvidia-isaac/gr00t-leapp-export.git cd gr00t-leapp-export uv sync --python 3.10
先接受 nvidia/GR00T-N1.7-3B 和 nvidia/Cosmos-Reason2-2B 的模型条款,再登录:
uv run hf auth login
<dataset-dir> 是转换器输出目录。默认是 ${ISAAC_ROS_WS}/recordings/lerobot_output。
配置
| 参数 | 含义 | 取值 |
|---|---|---|
--base-model-path | 预训练 GR00T 权重 | nvidia/GR00T-N1.7-3B |
--dataset-path | 真机 LeRobot 数据集 | <dataset-dir> |
--embodiment-tag | 本体标识 | NEW_EMBODIMENT |
--max-steps | 总步数 | 10000 |
--save-steps | 存 checkpoint 的间隔 | 2000 |
--global-batch-size | 有效 batch | 32 |
检查数据集
训练前看 <dataset-dir>/meta/info.json:
fps与录制器sync_rate一致(默认 30 Hz)。total_episodes和total_frames符合预期录制量。
苹果到盘子至少采集 200 条 episode 再微调。
模态配置
G1 数据集上,转换器会写出默认模态配置,微调命令里直接用这个文件:
<dataset-dir>/new_embodiment_config_defaults.py
里面包括:
- 从
left_leg到right_hand的七个 G1state键。 - 手臂动作用
RELATIVE。 - 手、腰,以及可选的移动或力矩键用
ABSOLUTE。 - 模型默认的 16 步动作预测范围。
- 只有录制器看到非零前馈力矩时,才有按身体部位的
effort_<group>动作键。
默认的苹果到盘子数据集不需要再改模态。
启动训练
在 gr00t-leapp-export 根目录跑。checkpoint 写到 <output-dir>/checkpoint-<step>/。步数、保存间隔和 batch 是起点,按数据量和机器再调。
CUDA_HOME=/usr/local/cuda \
CUDA_VISIBLE_DEVICES=0 \
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True \
uv run python gr00t/experiment/launch_finetune.py \
--base-model-path nvidia/GR00T-N1.7-3B \
--dataset-path <dataset-dir> \
--embodiment-tag NEW_EMBODIMENT \
--modality-config-path <dataset-dir>/new_embodiment_config_defaults.py \
--num-gpus 1 \
--output-dir <output-dir> \
--max-steps 10000 \
--save-steps 2000 \
--global-batch-size 32 \
--dataloader-num-workers 4
微调 GR00T 至少要 40 GB 显存,例如 L40、A100、H100、RTX 6000 Ada 或 RTX PRO 6000 Blackwell。
要点
真机示教上的 GR00T 1.7 已经微调完,checkpoint 可以交给 LEAPP 导出。