首页 / Robot / G1 E2E / 真机遥操作

真机遥操作

中文译本 · 原文 真机遥操作

在 Unitree G1 上做全身 XR 遥操作。应用把 AGILE WBC、双手逆运动学,以及由 XR 头显驱动的手指控制放在一起。

先在仿真里确认头显、CloudXR 会话和遥操作指令,再接到真机。这些步骤跑在连着 G1 的 Jetson AGX Thor 上,外置或 Thor 背包都可以。

提示

采集前先看 遥操作数据采集指南。它覆盖热身、平滑动作、身体稳定、场景变化、侧面抓取、补救示例、相机视野,以及适合 GR00T 训练的结束动作。这样操作者不会挡进左手相机,苹果到盘子时也不会挡住遥操作者的视线。

警告

建议至少两人:一人遥操作,一人盯着机器人安全。

前提:上一课完成,XR 头显就绪,G1 已上电,并用以太网直连 Thor。

激活 Isaac ROS

安装课里的 gr00t_workflow Docker 层已经带上 teleop bringup。

isaac-ros activate

启动 CloudXR

开始前先更新遥操作头显。网络要能撑住 CloudXR 串流,见 CloudXR 网络设置。

python3 -m isaacteleop.cloudxr --accept-eula

接受许可后一直开着,直到遥操作结束。在头显自带浏览器打开 Isaac Teleop 客户端,Server IP 填 Thor 的主机 IP。

头显里填写 Server IP
图:连接前的头显客户端,能看到 Server IP 和端口。
  1. 填完 IP 后,点页面上出现的 https://<ip>:48322/ 接受证书。
  2. 在新页面接受证书,回到 CloudXR.js 客户端。
  3. 点 Connect。
已连接的头显客户端
图:连上 CloudXR 之后的头显客户端。

PICO 上用自带浏览器里的 Isaac Teleop 客户端,把 Video Codec 设成 H.264。其他编码可能导致连不上。

先在 MuJoCo 里试

接真机之前,用 MuJoCo 确认头显、CloudXR 和遥操作指令是通的。这一步在 Thor 上跑,不必接真 G1,但 Thor 要接显示器。

isaac-ros activate
source ~/.cloudxr/run/cloudxr.env
ros2 launch isaac_ros_unitree_g1_teleop_bringup unitree_g1_teleop.launch.py \
    hardware_type:=mujoco \
    input_mode:=teleop

Thor 桌面上会打开 MuJoCo,G1 由虚拟吊架在启动时扶正。

手里拿着 XR 控制器动一动,确认仿真手臂跟着走。摇杆也可以让机器人走。手柄位姿用来命令手的位姿。左摇杆转身,右摇杆前后左右走。确认追踪之后 Ctrl+C 停掉。

配置机器人网络

isaac_ros_robots 在安装课时已经克隆。

  1. 确认 G1 网线直接插在 Thor 上,机器人已上电。
  2. 在 Thor 主机上跑网络脚本,不要在 Docker 里跑。提示时选物理接到 G1 的网口,Thor 上通常是 enP2p1s0。
${ISAAC_ROS_WS}/src/isaac_ros_robots/isaac_ros_robots_tools/scripts/setup_network.py

启动真机遥操作

isaac-ros activate
source ~/.cloudxr/run/cloudxr.env
ros2 launch isaac_ros_unitree_g1_teleop_bringup unitree_g1_teleop.launch.py \
    hardware_type:=real \
    input_mode:=teleop \
    network_interface:=enP2p1s0

另开一个终端进 Isaac ROS,确认 XR 指令在到。新指令应每秒出现多次。

isaac-ros activate
ros2 topic echo /xr_teleop/ee_poses

按住右手柄上的 Home(圆圈)约 2 秒,重置头显世界坐标系。

打开和关闭控制

默认控制是关的。栈用 blend_ratio 平滑打开。启动时是 0.0,只发默认电机指令;设成 1.0 后控制器完全生效。数值之间会平滑过渡。

仿真测试里 blend_ratio 默认就是 1.0,一开始就有控制。真机不同。

重要

改 blend_ratio 之前,确认推理控制器已经可用。看日志,等到 InferenceController activated。在那之前,控制器大约每秒打印一次,表示还在等输入。这可能要大约 40 秒。

[ros2_control_node-1] [INFO] [1780620035.588796262] [inference_controller]: Waiting for topic messages before activating core controller: '/cmd_vel'
[ros2_control_node-1] [INFO] [1780620044.232195753] [inference_controller]: Core InferenceController activated
ros2 param set /safety_controller blend_ratio 0.0

把这条留在 shell 历史里,出问题可以马上执行。

ros2 param set /safety_controller blend_ratio 1.0

真机上只在 launch 健康、机器人已经站在地上之后再设成 1.0。机器人会开始平衡并跟踪手的运动。把 blend_ratio 设回 0.0,或退出主程序,都可以停遥操作。

要点

这一课接上了 XR 控制、启动了真机遥操作,并确认机器人跟踪手柄指令。