首页 / Robot / G1 E2E / 概念概览

概念概览

GR00T 参考工作流的核心概念:端到端意味着什么,各阶段如何衔接。

中文译本 · 原文 Concepts Overview

什么是 GR00T 参考工作流

GR00T 参考工作流是一套面向 Unitree G1 人形策略学习的结构化流程,覆盖从仿真到真机。 它把受支持的模型、库、框架与一个具体任务打包成单一可复现工作流。

它帮助工程师理解:流水线每一段做什么、段与段如何为特定操作任务衔接、以及如何在实践中跑通。

它也是端到端蓝图,而不是要求所有团队原样照搬的固定产品栈。模块化设计允许团队使用完整平台, 或把部分能力接入现有研发流程,避免每换一个机器人或任务就重建同一套基础设施。

GR00T 参考工作流架构图
图:参考工作流架构,展示各组件从搭建到部署的连接关系。

「端到端」指什么

在本课程里,端到端指为某个任务构建人形操作策略所需的主要阶段:从仿真起步,最终落到真机。

  1. 环境搭建:在仿真中建立软件栈、任务资产、本体、传感器与工作空间。
  2. 遥操作与数据采集:在仿真或真机上录制示教。
  3. 数据转换:把示教转成 LeRobot 格式数据集。
  4. GR00T VLA 后训练:基于示教微调苹果抓取放置策略。
  5. 仿真评测:在 Isaac Lab-Arena 中测量策略表现,再考虑上机。
  6. 部署到 G1:打包并在实体机器人上运行后训练好的 VLA。
警告

就算外围工具都接上了,弱数据集、错误的动作映射、不稳定控制器或不可复现的工作空间, 仍可能把整条流水线打断。

人形机器人如何学会任务

本工作流里,人形通过示教、感知、本体状态、控制与策略学习来掌握操作任务。 人类操作者遥操作演示目标行为;系统记录机器人所见、身体位姿与推动任务前进的动作; GR00T 再在这些示教上微调 VLA 策略。

人形操作还有额外挑战:手臂与手在动的同时必须保持平衡。站立人形必须同时解决操作与稳定, 这与基座固定的机械臂不同。

GR00T 全身控制(WBC)支持多种控制器;当前端到端工作流推荐默认使用 AGILE。 AGILE 作为站立与平衡基线,让操作者或学习策略可以专注上半身任务执行。

任务:苹果抓取放置

G1 桌前苹果任务俯视
图:Unitree G1 站在桌前,桌上有苹果道具。

目标任务中,G1 站在桌旁,拿起苹果并放到盘子上。该任务刻意收敛:足够走通感知、遥操作、全身控制、训练、评测与部署,又简单到可以分阶段调试。

环境搭建

在采集、训练或评测之前,需要一致的任务定义与可复现执行环境。

仿真侧

Isaac Lab-Arena 基于 NVIDIA Isaac Lab,用模块化组件快速创建、管理与评测大规模具身 AI 任务, 并支持 GPU 加速的大批量仿真 rollout。

Isaac Lab-Arena 栈
图:Isaac Lab-Arena 相关组件栈示意。

真机侧

物理环境的微小变化会改变数据分布,因此采集与评测间要保持工作空间可复现。

数据采集

高质量示教是稳健策略的前提。本课程用遥操作采集示教。

Isaac Teleop
图:Isaac Teleop 遥操作示意。

人形需要更复杂的遥操作系统以覆盖全身运动范围。本工作流中,遥操作通常配合 XR 设备(如 PICO)+ IK, 并由 AGILE 负责站立与平衡。由于人体与机器人肢体比例、关节限位不同,需要重定向(retargeting) 把人体运动映射为机器人可执行的指令。

遥操作提示

质量重于数量:保留成功 episode,丢弃失败或中断的尝试;在任务有效范围内变化物体摆放; 节奏保持一致——过长停顿、突然修正或不一致抓取时机,都会给后训练带来嘈杂动作标签。

真机遥操作示例
图:真机遥操作采集示例。

本工作流三件套:Isaac Teleop(遥操作与录制)、Isaac Lab-Arena(仿真任务执行)、 AGILE(推荐默认的 GR00T WBC 站立/平衡控制器)。

数据转换

观测、本体状态或动作映射错误时,即便文件结构看起来合法,训练质量也会骤降甚至失败。 MCAP 擅长采集,LeRobot 擅长训练与共享模型。

来源录制格式转换路径
仿真 · Isaac Lab-ArenaHDF5HDF5 → LeRobot
真机 · Isaac TeleopMCAPMCAP → LeRobot

策略后训练

GR00T 模型
图:GR00T 模型架构示意。

后训练从预训练 GR00T 1.7 基础模型出发,通过模仿学习适配目标任务与机器人本体。 GR00T 1.7 是 VLA:输入视觉、语言指令与机器人状态,输出可执行动作(常为动作 chunk)。

类别在训练中的角色
视觉输入腕部 / 头部等相机 RGB
语言输入自然语言指令,如 “把苹果放到盘子上”
本体状态关节位置/速度、末端位姿等
动作输出关节目标或动作 chunk,供控制器执行

适配新本体时需声明动作空间、观测空间(相机数量/分辨率与状态字段映射),并在示教上做 embodiment fine-tuning。

为真机部署准备模型

仿真里 Isaac Lab-Arena 可直接评测 checkpoint;真机路径需要额外导出。 LEAPP(Lightweight Export Annotations for Policy Pipelines) 把标注好的策略流水线导出为部署描述,覆盖预处理、推理与后处理。

推理与评测

推理是在环境中运行策略生成动作;评测是在多次试验中量化任务表现。 先在仿真中评测(失败成本低、可并行),再上真机做硬件验证。

真机推理跑在边缘算力上:本课程将 LEAPP 导出的策略流水线部署到 Jetson Thor, 并接入实时传感器与执行器流。成功的真机评测应体现:识别苹果与盘子、伸手抓取、移动并释放、 保持站立稳定、且不触发安全中止。

真机评测是端到端工作流的最终检验。