用 Unitree G1 做端到端 Physical AI
如何用 NVIDIA Isaac GR00T 与 Unitree G1,端到端开发并部署人形机器人策略。
中文译本 · 原文 NVIDIA Learning · GR00T E2E Workflow · 保留原图 / 图表外链
导读
Physical AI 正在重塑机器人与世界交互的方式。
人形机器人特别适合在为人设计的环境中工作,例如伸向桌面、抓取日常物品。
本课程介绍 GR00T 参考工作流:一条已验证、开放、可复现的路径——以仿真优先(sim-first), 在 Unitree G1 上学习操作策略,并通过 Jetson Thor 完成部署。
这不是一个独立 Demo,也不是通用人形平台套件。它是一条面向人形使能的参考工作流, 把受支持的 NVIDIA 模型、库与框架打包成可复现流程:
- 在仿真或真机上进行遥操作(Teleoperation)
- 采集示教数据
- 对 GR00T Vision-Language-Action(VLA)做后训练(post-training)
- 在 Isaac Lab-Arena 中评测
- 再部署回 G1
工作流已产品化、经过验证、开放且可复现。它为开发者在常见人形操作任务上使用 NVIDIA 技术栈 (以 Unitree G1 为例)提供更短的上手路径。
你将做出什么
目标任务是桌面抓取放置(tabletop pick-and-place):G1 在主动平衡站立的前提下, 从桌面拿起苹果,再放到盘子上。这是一项基础操作技能,会走通整条流水线:感知、抓取、全身协调与策略执行。
本课程提供两条彼此完全解耦的独立工作流:
- 仿真工作流:数据采集与策略训练全部在 Isaac Lab-Arena 中完成。
- 真机工作流:在实体 G1 上采集数据,并通过 Jetson Thor 部署到硬件。
你可以只做其中一条,也可以两条都做。当前版本中,仿真与真机路径互不依赖。
怎么学这门课
课程提供了数据集与模型,可按目标选择不同深度:
- 最快上手:用提供的模型复现参考结果,顺带采一点遥操作数据熟悉流程。
- 深入复现:自己采集数据并训练模型,完整复现同一任务。
- 自定义任务:以本工作流为底座,构建并训练你自己的任务。
学习目标
学完本课后,你将能够:
- 配置 Isaac Lab-Arena 做人形仿真,并用 Isaac Teleop 做遥操作。
- 采集 操作示教数据:配合 AGILE,仿真用 HDF5,真机用 MCAP。
- 转换 示教数据到 LeRobot 格式,供 GR00T 1.7 后训练使用。
- 微调 GR00T 1.7 策略,基于转换后的 LeRobot 数据集。
- 评测 抓取放置策略,在 Isaac Lab-Arena 中用成功率等指标。
- 部署 训练好的操作策略到实体 Unitree G1(经 Jetson Thor)。
适合谁
面向做人形机器人或操作任务的机器人工程师、研究者与开发者。以下画像会特别有收获:
你在研究人形机器人的学习型操作策略,希望亲手体验 NVIDIA 端到端技术栈, 并拿到可复现的基线任务。
你在为产品或部署集成人形能力,需要一份覆盖「采集 → 真机部署」的可运行参考实现。
或者你只是想更具体地了解 Physical AI 在工程里如何落地。
无论是第一次搭环境,还是要把训好的模型推上真机,本课程都提供分步指引、工具索引与实践建议。
这条工作流要多久?
以下估算假设前置条件已满足、硬件可用。
实际耗时取决于:
- 你选择采集多少数据(少量样本 vs 完整数据集)
- 后训练用的算力(或直接使用预训练模型)
- 训练迭代次数
- 网络速度
| 工作流 | 阶段 | 建议时长 |
|---|---|---|
| 仿真 | 环境搭建 → 遥操作 | 1–2 小时 |
| 仿真 | 后训练 | 2–4 小时 |
| 仿真 | 合计 | 3–6 小时 |
| 真机 | 环境搭建 → 遥操作 | 1–2 小时 |
| 真机 | 后训练 | 2–4 小时 |
| 真机 | 合计 | 3–6 小时 |
建议先读 概念概览、 Agent Skills 与 前置条件, 再进入 仿真 或 真机 工作流。