首页 / Robot / G1 E2E / 遥操作与 WBC

仿真遥操作与 WBC

中文译本 · 原文 仿真遥操作与 WBC

用 Meta Quest 3 或 PICO 4 Ultra,配合 NVIDIA Isaac Teleop,采集 Unitree G1 静态「苹果→盘子」示教。

没有头显也可以用 Immersive Web Emulator Runtime 走通流程:在桌面 Chrome 打开 Isaac Teleop 客户端,页面会自动加载 IWER 并模拟 Quest 3,用鼠标键盘操作。后面的 CloudXR、Arena、连接和录制步骤一样,只是从浏览器标签页而不是头显浏览器连接。静态任务去掉了行走、下蹲和转身,但仍要末端控制。IWER 能录几条测试示教,真头显的数据更平滑,更适合训练。

注意

支持的输入设备和系统要求见 Isaac Teleop 设备 与 系统要求。开始前最好先更新头显。

启动 CloudXR

先确认网络能撑住 CloudXR 串流。见 CloudXR 网络设置。下面用 Ubuntu 的 ufw 放行端口,具体端口会随客户端类型变化。

  1. 在 Arena 容器外的终端放行 CloudXR 流量。
sudo ufw allow 49100/tcp   # Signaling
sudo ufw allow 47998/udp   # Media stream
sudo ufw allow 48322/tcp   # Proxy (HTTPS mode only)
  1. 沿用安装课的 Arena 容器终端,或重新启动。
./docker/run_docker.sh
  1. 在容器里启动 CloudXR。
python -m isaacteleop.cloudxr

第一次会要求接受 NVIDIA CloudXR 许可。接受后保持这个终端开着,Ctrl+C 才会停。输出里会提示在另一个终端执行 source ~/.cloudxr/run/cloudxr.env。

启动 Arena 遥操作

这一步先练习,不录数据。需要两个都连着 Arena 容器的终端。顺序很重要:CloudXR 已经在跑之后,再 source ~/.cloudxr/run/cloudxr.env,然后才启动 Isaac Lab-Arena,这样 Arena 才能继承 CloudXR 环境变量。要重启就按这个顺序再来一遍。

./docker/run_docker.sh
source ~/.cloudxr/run/cloudxr.env
python isaaclab_arena/scripts/imitation_learning/teleop.py \
  --viz kit \
  --device cpu \
  galileo_g1_static_pick_and_place \
  --object apple_01_objaverse_robolab \
  --destination clay_plates_hot3d_robolab \
  --teleop_device openxr

Isaac Lab 起来后找到 XR 标签。左侧是立体视口,右侧是 XR 设置。从 XR 标签启动 CloudXR 会话。OpenXR Settings 里 “Which is the server’s IP address?” 就是下一步要填的主机 IP,也可以用 ifconfig 看无线网卡地址。

静态苹果场景的立体 XR 视口
Arena 遥操作:左侧立体 XR 画面,右侧 XR 设置。
XR 标签
从 XR 标签启动 CloudXR 会话。

从头显连接

头显和主机在同一无线网。

  1. 在头显浏览器打开 Isaac Teleop 客户端。
  2. Server IP 填 Isaac Lab 主机 IP。
  3. 点下面的 https://<ip>:48322/ 接受证书,再回到客户端页。
  4. 点 Connect 开始遥操作。
头显里的遥操作网页
头显浏览器中的遥操作客户端。

更细的连接步骤见 Connect an XR Device。无线要稳,路由器配置参考 CloudXR 网络文档。

怎么操作

浏览器左上角点 Connect 后应出现控制面板。如果看不到,先戴上头显再在 Arena 里点 Start XR,把面板拖到合适位置;也可以在客户端设置的 Control Panel Start Position 里改默认位置。

遥操作控制面板
Isaac Sim 画面与遥操作控制面板。
控制面板默认位置设置
遥操作网页里的控制面板起始位置。

用头显录制

后面的课提供了现成数据集。你可以自己录完全部,也可以先试几条熟悉流程,再用官方数据。

source ~/.cloudxr/run/cloudxr.env
echo $DATASET_DIR
# 新 shell 里需要重新导出
export DATASET_DIR=/datasets/isaaclab_arena/static_apple_tutorial
mkdir -p $DATASET_DIR

python isaaclab_arena/scripts/imitation_learning/record_demos.py \
  --viz kit \
  --device cpu \
  --enable_cameras \
  --dataset_file $DATASET_DIR/arena_g1_static_apple_dataset_recorded.hdf5 \
  --num_demos 20 \
  --num_success_steps 10 \
  --disable_full_sim_buffer_reset \
  galileo_g1_static_pick_and_place \
  --object apple_01_objaverse_robolab \
  --destination clay_plates_hot3d_robolab \
  --teleop_device openxr

每成功一条,界面会显示已录条数。

已录成功示教计数
头显里看到的已录成功条数。

用第二视口监看(可选)

想要更高质量,建议两个人:一个人戴头显操作,另一个人看主机屏幕,确认轨迹一直在机器人头相机视野里。跑出录制视野的东西不会进 HDF5,训练时策略也看不见。默认视口是操作者的立体视角,不是 record_demos.py 存下来的画面。再开一个绑在头相机上的视口才能并排看。

  1. Window 菜单打开 Viewport 2。
  2. 在 Viewport 2 的相机选择器里选头相机 RobotHeadCam(场景树 /World/envs/env_0/Robot/head_link)。这就是写入 HDF5 的相机。
  3. 录制时让立体 XR 画面和头相机画面并排。观察者盯着右侧画面,及时提醒“往右一点,手已经到画面边缘”。
打开 Viewport 2
从 Window 菜单打开第二个视口。
选择头相机
视口相机选择器里选中机器人头相机。
双视口
左:立体 XR 视角;右:头相机,也就是数据集实际录到的画面。
注意

RobotHeadCam 只有加了 --enable_cameras 才会生成。本课的 record_demos.py 默认打开了它。前面练习用的 teleop.py 为了性能没加;想在进 VR 前先看双视口,给那条命令也加上。

重要

上面只录 20 条,方便快速走通。要更好的推理效果,大约采集 400 条高质量示教,并保持 --num_success_steps 10,让成功之后再多留几帧稳定画面。成功率很吃数据质量和数量。

采集时建议:

DATASET_DIR 没设对时,会在根目录创建 hdf5 并报 Permission denied。

成功放置后保持稳定,等回合自动结束。仿真会在成功后自动重置,脚本把成功回合写到 --dataset_file。这条录制流程没有手动保存按钮。练习或不成功的尝试用 Reset。

建议动作顺序
  • 右手移到一侧并保持不动,尽量靠在架子或桌面上,减少遮挡。
  • 左手沿大致水平的路径平滑接近苹果,侧面接近是比较干净的默认轨迹。
  • 手对齐后握紧,建立稳定抓取。
  • 先垂直抬起,再平移到盘子。不要沿原来的接近路径退回去,否则 GR00T 很难区分接近和撤离。
  • 降到略高于盘面,短暂停稳,再干净松开,让苹果自然落到盘子上。
  • 保持稳定,等自动成功终止和重置。松开高度要低,姿态要稳,避免苹果滚走。

合并多次录制

一次坐下来录几百条不现实。建议每次会话一个 HDF5,再合并成训练用数据集。合并脚本会检查 format_version、动作形状、观测键和相机几何是否一致,并按输入文件顺序重排成功示教编号。--dry_run 只看报告不写文件;有文件合并不了时返回非零。

python isaaclab_arena/scripts/imitation_learning/merge_demos.py \
  -o $DATASET_DIR/arena_g1_static_apple_dataset_recorded.hdf5 \
  $DATASET_DIR/session_a.hdf5 $DATASET_DIR/session_b.hdf5

回放

回放可以确认示教看起来对不对,也可以在不启动 CloudXR 的情况下用录好的动作驱动环境。回放是把采集到的动作再送进环境,不会精确复现采集时看到的轨迹。回放时物体掉了、采集时没掉,多半是动力学不一致,不能单凭这个判定示教坏了。不要只因为回放摔倒就重采;先看原始录制质量和数据集里是否有预期的成功动作序列。

python isaaclab_arena/scripts/imitation_learning/replay_demos.py \
  --viz kit \
  --device cpu \
  --dataset_file $DATASET_DIR/arena_g1_static_apple_dataset_recorded.hdf5 \
  galileo_g1_static_pick_and_place \
  --object apple_01_objaverse_robolab \
  --destination clay_plates_hot3d_robolab

要点

我们已经用 OpenXR 遥操作采集了静态苹果示教,并把成功回合存成 HDF5。下一步把它转成 LeRobot,供 GR00T 1.7 后训练。