第一章 π0.5 推理部署
整套系统由两个独立进程组成:一个只做模型推理的 WebSocket 服务,另一个负责采集观测、调度推理并通过 GDK 控制机器人。两者都在 h6 的 Thor 上运行,通过本机 127.0.0.1:8012 通信。
| 项目 | 当前值 |
|---|---|
| 模型 | π0.5,PaliGemma(Gemma 2B)+ Gemma 300M 动作专家;内部动作维度 32,对外 24 |
| 权重目录 | downloads/badminton-pi05-651-step89999(Orbax,JAX 直接加载,不需要转 safetensors) |
| 归一化 | assets/badminton651/norm_stats.json,q01/q99 分位数 |
| 提示词 | Put the shuttlecock into the shuttlecock tube. |
| 输出 | 每次 30 帧 × 24 维绝对关节角(弧度),按 15 Hz 播放,整段 2 秒 |
| 推理耗时(h6 实测) | 首次预热约 9.7 s;稳定中位数 448 ms,P95 494 ms(10 步去噪) |
部署步骤
-
确认机器环境一次性
目标是 ARM64 的 Thor、Python ≥ 3.11、支持 CUDA 13 的驱动。不要替换 Jetson 驱动或改动机器人已有的 Python 环境。
uname -m; cat /etc/nv_tegra_release; nvidia-smi; python3 --version; df -h .
-
放置代码到固定目录一次性
代码必须位于
/data/project_r/agibotg2_pi0.5_deploy。采集容器ral-g2-bridge把这个目录挂载为/ws/agibotg2_pi0.5_deploy,run_robot.sh会检查路径,不一致直接退出。 -
建立独立 venv 并自检一次性
只按
requirements-thor.txt安装(JAX/JAXLIB 0.9.2 + CUDA 13 插件、Flax 0.12.5、Orbax 0.11.33)。不要安装vendor/openpi的训练依赖,那会把 JAX 降到 CUDA 12 的 0.5.3。bash scripts/setup_thor.sh # 建 .venv、装依赖、pip check、跑 doctor source scripts/env.sh .venv/bin/python scripts/doctor.py # 必须在 GPU 上完成矩阵运算和模型结构构造
scripts/env.sh在 Thor 上会加--xla_gpu_enable_triton_gemm=false --xla_gpu_autotune_level=0,避免 h6 上的cudaErrorNoKernelImageForDevice。 -
放入权重与 tokenizer一次性
downloads/badminton-pi05-651-step89999/ params/ # Orbax OCDBT 权重 assets/badminton651/norm_stats.json results/badminton651-cache/big_vision/paligemma_tokenizer.model启动脚本把
OPENPI_DATA_HOME指到 tokenizer 缓存,推理全程不联网。 -
启动推理服务每次运行
cd /data/project_r/agibotg2_pi0.5_deploy bash scripts/run_inference_badminton651.sh # 等待 MODEL_LOADED 和 server listening on 127.0.0.1:8012服务找不到 JAX GPU 会直接报错退出。首个请求包含 JIT 编译,约 10 秒。
-
只读联调(shadow)建议每次先跑
bash scripts/run_robot_badminton651.sh --schedule sync --mode shadow
采集真实相机和关节,请求 20 次推理并记录动作、延迟、是否超 SDK 限位,不初始化 GDK 控制,也不下发任何命令。
-
复位到保存姿态可选
bash scripts/run_reset_saved_20261030.sh # 只读计划 bash scripts/run_reset_saved_20261030.sh --execute # 真机复位全身 bash scripts/run_reset_saved_20261030.sh --arms-only --execute
姿态文件
results/saved_poses/h6-20261030-151620.json只存在于 h6,不在代码包里。复位不是推理启动链的一部分,控制程序不会自动复位。 -
真机执行每次运行
# 异步 20+5(脚本默认调度) bash scripts/run_robot_badminton651.sh --schedule async --mode execute # 同步:执行 25 帧后停住等新推理 bash scripts/run_robot_badminton651.sh --schedule sync --replan-steps 25 --mode execute
- 必须在操作员的交互终端运行,并取得
/tmp/agibot-pi05-control.lock;复位和执行不能同时跑。 - 单次最长 300 秒,Ctrl+C 可提前结束;日志与轨迹写入
results/robot-live-XXXXXXXX/。 - 执行前会校验机器人 AID
G2A0205C900081、SDK 源地址192.168.112.203(wlan0)和 discovery 地址。
- 必须在操作员的交互终端运行,并取得
第二章 当前推理流程:从观测到控制执行
以下按默认的异步 20+5 调度描述(配置 configs/badminton651/h6_89999_async.json)。点击图中方块可查看说明。
2.1 组件交互图
点击上图中的方块
查看每个组件的职责、输入输出和代码位置。
2.2 数据流程图:一次推理内部发生了什么
state 的是 ROS /g2/joint_state 的 position;控制循环每拍从 GDK 读的反馈是 get_joint_states() 的 motor_position。两者用途不同:前者喂模型,后者只用于安全检查和跟踪诊断。2.3 时序图:异步 20+5 的一个完整周期
5 帧缓冲只有 333 ms,而实测推理中位数 448 ms,因此大多数周期会落入“推理晚于交接点”的情况。
2.4 动作播放时间轴:30 帧里哪些被执行
2.5 流程图:每 10 ms 控制一拍
2.6 24 维动作如何变成 GDK 命令
| 模型下标 | 含义 | 下发 |
|---|---|---|
| 0–4 | 腰 idx01–idx05 | 写入请求,但值被替换为启动时实测角(锁定) |
| 5–7 | 头 idx11–idx13 | 不在请求中,头保持原地 |
| 8–14 | 左臂 idx21–idx27 | 模型绝对角 |
| 15–21 | 右臂 idx61–idx67 | 模型绝对角 |
| 22 | gripper_l | 改名 idx31_gripper_l_inner_joint1 |
| 23 | gripper_r | 改名 idx71_gripper_r_inner_joint1 |
req = sdk.JointServoControlReq() req.joint_names = COMMAND_NAMES # 21 个:腰5 + 双臂14 + 夹爪2 req.joint_positions = target.tolist() # 绝对位置,弧度 req.joint_velocities = [] req.control_period = 0.02 robot.joint_servo_control(req, False) # 普通伺服,非 low-delay
实际每 10 ms 调用一次,但 control_period 写的是 0.02。同一个 15 Hz 目标会原样重复发 6–7 次,羽毛球配置没有帧间插值。