仿真遥操作与 WBC
中文译本 · 原文 仿真遥操作与 WBC
用 Meta Quest 3 或 PICO 4 Ultra,配合 NVIDIA Isaac Teleop,采集 Unitree G1 静态「苹果→盘子」示教。
- 启动 CloudXR 运行时和 Arena 遥操作。
- 用 XR 头显或模拟器连上正在跑的 Arena 场景。
- 把成功的 OpenXR 示教录成 HDF5。
- 回放录制,核对数据集。
没有头显也可以用 Immersive Web Emulator Runtime 走通流程:在桌面 Chrome 打开 Isaac Teleop 客户端,页面会自动加载 IWER 并模拟 Quest 3,用鼠标键盘操作。后面的 CloudXR、Arena、连接和录制步骤一样,只是从浏览器标签页而不是头显浏览器连接。静态任务去掉了行走、下蹲和转身,但仍要末端控制。IWER 能录几条测试示教,真头显的数据更平滑,更适合训练。
支持的输入设备和系统要求见 Isaac Teleop 设备 与 系统要求。开始前最好先更新头显。
启动 CloudXR
先确认网络能撑住 CloudXR 串流。见 CloudXR 网络设置。下面用 Ubuntu 的 ufw 放行端口,具体端口会随客户端类型变化。
- 在 Arena 容器外的终端放行 CloudXR 流量。
sudo ufw allow 49100/tcp # Signaling sudo ufw allow 47998/udp # Media stream sudo ufw allow 48322/tcp # Proxy (HTTPS mode only)
- 沿用安装课的 Arena 容器终端,或重新启动。
./docker/run_docker.sh
- 在容器里启动 CloudXR。
python -m isaacteleop.cloudxr
第一次会要求接受 NVIDIA CloudXR 许可。接受后保持这个终端开着,Ctrl+C 才会停。输出里会提示在另一个终端执行 source ~/.cloudxr/run/cloudxr.env。
启动 Arena 遥操作
这一步先练习,不录数据。需要两个都连着 Arena 容器的终端。顺序很重要:CloudXR 已经在跑之后,再 source ~/.cloudxr/run/cloudxr.env,然后才启动 Isaac Lab-Arena,这样 Arena 才能继承 CloudXR 环境变量。要重启就按这个顺序再来一遍。
./docker/run_docker.sh source ~/.cloudxr/run/cloudxr.env python isaaclab_arena/scripts/imitation_learning/teleop.py \ --viz kit \ --device cpu \ galileo_g1_static_pick_and_place \ --object apple_01_objaverse_robolab \ --destination clay_plates_hot3d_robolab \ --teleop_device openxr
Isaac Lab 起来后找到 XR 标签。左侧是立体视口,右侧是 XR 设置。从 XR 标签启动 CloudXR 会话。OpenXR Settings 里 “Which is the server’s IP address?” 就是下一步要填的主机 IP,也可以用 ifconfig 看无线网卡地址。
从头显连接
头显和主机在同一无线网。
- 在头显浏览器打开 Isaac Teleop 客户端。
- Server IP 填 Isaac Lab 主机 IP。
- 点下面的
https://<ip>:48322/接受证书,再回到客户端页。 - 点 Connect 开始遥操作。
更细的连接步骤见 Connect an XR Device。无线要稳,路由器配置参考 CloudXR 网络文档。
怎么操作
浏览器左上角点 Connect 后应出现控制面板。如果看不到,先戴上头显再在 Arena 里点 Start XR,把面板拖到合适位置;也可以在客户端设置的 Control Panel Start Position 里改默认位置。
- 虚拟面板上的 Play 开始遥操作,Reset 在练习时重置场景。
- 已经在 Arena 里点过 Start XR 的话,头显里会看到机器人视角。
- 左摇杆:身体前后左右。右摇杆:下蹲或左右转躯干。手柄:手臂末端目标。
- 帧率太低就在 XR → Advanced Settings → Render Resolution 里降低分辨率。
- 练习几局后,在虚拟面板点 Stop XR,再在跑脚本的终端按
Ctrl+C。
用头显录制
后面的课提供了现成数据集。你可以自己录完全部,也可以先试几条熟悉流程,再用官方数据。
source ~/.cloudxr/run/cloudxr.env echo $DATASET_DIR # 新 shell 里需要重新导出 export DATASET_DIR=/datasets/isaaclab_arena/static_apple_tutorial mkdir -p $DATASET_DIR python isaaclab_arena/scripts/imitation_learning/record_demos.py \ --viz kit \ --device cpu \ --enable_cameras \ --dataset_file $DATASET_DIR/arena_g1_static_apple_dataset_recorded.hdf5 \ --num_demos 20 \ --num_success_steps 10 \ --disable_full_sim_buffer_reset \ galileo_g1_static_pick_and_place \ --object apple_01_objaverse_robolab \ --destination clay_plates_hot3d_robolab \ --teleop_device openxr
每成功一条,界面会显示已录条数。
用第二视口监看(可选)
想要更高质量,建议两个人:一个人戴头显操作,另一个人看主机屏幕,确认轨迹一直在机器人头相机视野里。跑出录制视野的东西不会进 HDF5,训练时策略也看不见。默认视口是操作者的立体视角,不是 record_demos.py 存下来的画面。再开一个绑在头相机上的视口才能并排看。
- Window 菜单打开 Viewport 2。
- 在 Viewport 2 的相机选择器里选头相机
RobotHeadCam(场景树/World/envs/env_0/Robot/head_link)。这就是写入 HDF5 的相机。 - 录制时让立体 XR 画面和头相机画面并排。观察者盯着右侧画面,及时提醒“往右一点,手已经到画面边缘”。
RobotHeadCam 只有加了 --enable_cameras 才会生成。本课的 record_demos.py 默认打开了它。前面练习用的 teleop.py 为了性能没加;想在进 VR 前先看双视口,给那条命令也加上。
上面只录 20 条,方便快速走通。要更好的推理效果,大约采集 400 条高质量示教,并保持 --num_success_steps 10,让成功之后再多留几帧稳定画面。成功率很吃数据质量和数量。
采集时建议:
- 正式录之前先练大约 5 次,适应 XR 延迟和苹果的接触。
- 动作连贯,避免猛抖。抖动的种子示教会让后面的合成增强和策略都不稳。
- 这个静态任务里躯干和身体保持不动,只用手臂和手。
- 抓法要多样,包括自上而下和从侧面抓,避免策略只会一种接近方向。
- 只保留没有多余碰撞、放置前没掉、也没有会把策略搞糊涂的补救动作的回合。
- 苹果放到盘子上之后保持稳定,等录制自动结束并冻结,然后再 Reset。
- 单条示教大约 200–400 个时间步。太长会拖慢后续处理,太短往往动作突兀。
DATASET_DIR 没设对时,会在根目录创建 hdf5 并报 Permission denied。
成功放置后保持稳定,等回合自动结束。仿真会在成功后自动重置,脚本把成功回合写到 --dataset_file。这条录制流程没有手动保存按钮。练习或不成功的尝试用 Reset。
- 右手移到一侧并保持不动,尽量靠在架子或桌面上,减少遮挡。
- 左手沿大致水平的路径平滑接近苹果,侧面接近是比较干净的默认轨迹。
- 手对齐后握紧,建立稳定抓取。
- 先垂直抬起,再平移到盘子。不要沿原来的接近路径退回去,否则 GR00T 很难区分接近和撤离。
- 降到略高于盘面,短暂停稳,再干净松开,让苹果自然落到盘子上。
- 保持稳定,等自动成功终止和重置。松开高度要低,姿态要稳,避免苹果滚走。
合并多次录制
一次坐下来录几百条不现实。建议每次会话一个 HDF5,再合并成训练用数据集。合并脚本会检查 format_version、动作形状、观测键和相机几何是否一致,并按输入文件顺序重排成功示教编号。--dry_run 只看报告不写文件;有文件合并不了时返回非零。
python isaaclab_arena/scripts/imitation_learning/merge_demos.py \ -o $DATASET_DIR/arena_g1_static_apple_dataset_recorded.hdf5 \ $DATASET_DIR/session_a.hdf5 $DATASET_DIR/session_b.hdf5
回放
回放可以确认示教看起来对不对,也可以在不启动 CloudXR 的情况下用录好的动作驱动环境。回放是把采集到的动作再送进环境,不会精确复现采集时看到的轨迹。回放时物体掉了、采集时没掉,多半是动力学不一致,不能单凭这个判定示教坏了。不要只因为回放摔倒就重采;先看原始录制质量和数据集里是否有预期的成功动作序列。
python isaaclab_arena/scripts/imitation_learning/replay_demos.py \ --viz kit \ --device cpu \ --dataset_file $DATASET_DIR/arena_g1_static_apple_dataset_recorded.hdf5 \ galileo_g1_static_pick_and_place \ --object apple_01_objaverse_robolab \ --destination clay_plates_hot3d_robolab
要点
我们已经用 OpenXR 遥操作采集了静态苹果示教,并把成功回合存成 HDF5。下一步把它转成 LeRobot,供 GR00T 1.7 后训练。