真机遥操作
中文译本 · 原文 真机遥操作
在 Unitree G1 上做全身 XR 遥操作。应用把 AGILE WBC、双手逆运动学,以及由 XR 头显驱动的手指控制放在一起。
先在仿真里确认头显、CloudXR 会话和遥操作指令,再接到真机。这些步骤跑在连着 G1 的 Jetson AGX Thor 上,外置或 Thor 背包都可以。
- 为遥操作激活 Isaac ROS 环境。
- 启动 CloudXR 并连接 XR 头显。
- 启动真机遥操作。
- 用安全控制器打开和关闭机器人控制。
采集前先看 遥操作数据采集指南。它覆盖热身、平滑动作、身体稳定、场景变化、侧面抓取、补救示例、相机视野,以及适合 GR00T 训练的结束动作。这样操作者不会挡进左手相机,苹果到盘子时也不会挡住遥操作者的视线。
建议至少两人:一人遥操作,一人盯着机器人安全。
前提:上一课完成,XR 头显就绪,G1 已上电,并用以太网直连 Thor。
激活 Isaac ROS
安装课里的 gr00t_workflow Docker 层已经带上 teleop bringup。
isaac-ros activate
启动 CloudXR
开始前先更新遥操作头显。网络要能撑住 CloudXR 串流,见 CloudXR 网络设置。
python3 -m isaacteleop.cloudxr --accept-eula
接受许可后一直开着,直到遥操作结束。在头显自带浏览器打开 Isaac Teleop 客户端,Server IP 填 Thor 的主机 IP。
- 填完 IP 后,点页面上出现的
https://<ip>:48322/接受证书。 - 在新页面接受证书,回到 CloudXR.js 客户端。
- 点 Connect。
PICO 上用自带浏览器里的 Isaac Teleop 客户端,把 Video Codec 设成 H.264。其他编码可能导致连不上。
先在 MuJoCo 里试
接真机之前,用 MuJoCo 确认头显、CloudXR 和遥操作指令是通的。这一步在 Thor 上跑,不必接真 G1,但 Thor 要接显示器。
- 正常戴上头显,并在客户端打开
AR Immersive透视。仿真画面不会串到头显。 - 或者取下海绵、把头显拉到脖子上,改看显示器。戴在脖子上时,衣服不要挡住头显底部的追踪相机。
isaac-ros activate
source ~/.cloudxr/run/cloudxr.env
ros2 launch isaac_ros_unitree_g1_teleop_bringup unitree_g1_teleop.launch.py \
hardware_type:=mujoco \
input_mode:=teleop
Thor 桌面上会打开 MuJoCo,G1 由虚拟吊架在启动时扶正。
g:开关吊架。[和]:缩短或放长吊绳。
手里拿着 XR 控制器动一动,确认仿真手臂跟着走。摇杆也可以让机器人走。手柄位姿用来命令手的位姿。左摇杆转身,右摇杆前后左右走。确认追踪之后 Ctrl+C 停掉。
配置机器人网络
isaac_ros_robots 在安装课时已经克隆。
- 确认 G1 网线直接插在 Thor 上,机器人已上电。
- 在 Thor 主机上跑网络脚本,不要在 Docker 里跑。提示时选物理接到 G1 的网口,Thor 上通常是
enP2p1s0。
${ISAAC_ROS_WS}/src/isaac_ros_robots/isaac_ros_robots_tools/scripts/setup_network.py
启动真机遥操作
- 清开人和危险物。
- 启动前腰部偏航关节接近 0。
isaac-ros activate
source ~/.cloudxr/run/cloudxr.env
ros2 launch isaac_ros_unitree_g1_teleop_bringup unitree_g1_teleop.launch.py \
hardware_type:=real \
input_mode:=teleop \
network_interface:=enP2p1s0
另开一个终端进 Isaac ROS,确认 XR 指令在到。新指令应每秒出现多次。
isaac-ros activate ros2 topic echo /xr_teleop/ee_poses
按住右手柄上的 Home(圆圈)约 2 秒,重置头显世界坐标系。
打开和关闭控制
默认控制是关的。栈用 blend_ratio 平滑打开。启动时是 0.0,只发默认电机指令;设成 1.0 后控制器完全生效。数值之间会平滑过渡。
仿真测试里 blend_ratio 默认就是 1.0,一开始就有控制。真机不同。
改 blend_ratio 之前,确认推理控制器已经可用。看日志,等到 InferenceController activated。在那之前,控制器大约每秒打印一次,表示还在等输入。这可能要大约 40 秒。
[ros2_control_node-1] [INFO] [1780620035.588796262] [inference_controller]: Waiting for topic messages before activating core controller: '/cmd_vel' [ros2_control_node-1] [INFO] [1780620044.232195753] [inference_controller]: Core InferenceController activated
ros2 param set /safety_controller blend_ratio 0.0
把这条留在 shell 历史里,出问题可以马上执行。
ros2 param set /safety_controller blend_ratio 1.0
真机上只在 launch 健康、机器人已经站在地上之后再设成 1.0。机器人会开始平衡并跟踪手的运动。把 blend_ratio 设回 0.0,或退出主程序,都可以停遥操作。
要点
这一课接上了 XR 控制、启动了真机遥操作,并确认机器人跟踪手柄指令。