1 问题诊断:瓶颈主要在调度,不在模型
球被移动后,机器人多久才开始改道,由三段时间相加:等下一次拍照、推理、新动作接管。
开环执行太长
每个动作块执行到第 20 帧(15 Hz 下约 1.33 s)才拍下一张观测去请求推理。这段时间里画面变化模型看不到。
推理比缓冲长(已缓解)
JAX 推理中位数约 448 ms(P95 约 494 ms),而异步缓冲只有 5 帧(333 ms)。新动作块通常晚到,旧动作块的第 24 帧会被保持住等待。
换成 ApexInfer 后,同一份观测、同样绑核下的端到端中位数:JAX 416 ms → ApexInfer 273 ms(预处理约 25 ms + 推理约 246 ms),已经小于 5 帧缓冲。
状态不是实测值
异步重规划时,送给模型的手臂和夹爪状态是旧动作块第 24 帧的计划值。衔接平滑,但模型看不到实际偏差。
2 反应延迟模拟
按部署代码的异步逻辑计算:动作块开始后执行“前缀”帧时拍照请求推理;新块在“推理返回”和“前缀 + 缓冲”两者较晚的时刻接管。拖动“球被移动的时刻”看反应延迟。
计算方式:周期 T = 前缀/15 + max(推理, 缓冲/15);平均反应延迟 = T/2 + max(推理, 缓冲/15);最坏 = T + max(推理, 缓冲/15)。 ApexInfer 预设的 300 ms = 端到端 273 ms + 请求后等待 5 路数据流都更新的最多约 33 ms。推理装进缓冲时(推理 ≤ 缓冲/15),周期就是 (前缀 + 缓冲)/15。100 ms 是量化后的目标估计,不是实测值。
3 部署侧优化(成本最低,建议先做)
3.1 缩短开环执行长度 优先级 1
把执行前缀从 20 帧降到 5~8 帧(0.33~0.53 s)就重规划,反应延迟可以降到大约 0.5~1 s。前提是推理要快于这个间隔,否则新块总是迟到,机器人会在旧块末帧上停顿。
现有入口已支持调整:同步模式用 --replan-steps,异步模式用 --replan-steps(即前缀 execution_prefix_frames)加 --buffer-steps。注意 TargetGuard 里写死了 (30, 24) 的动作形状,改动作块长度时要一起改。
当前异步调度(async_buffer + handoff_target)的实际时序
记前缀为 p、缓冲为 b(现在是 20 和 5)。一个 30 帧的动作块是这样用的:
- 交接时刻(第 0 帧):接收新块,从它的第 0 帧执行到第 p+b−1 帧,后面的帧丢弃。
- 第 p 帧:发推理请求。推理进程要等 5 路数据流在请求之后都更新了才采集,所以图像是实时的;但送给模型的状态是旧块第 p+b 帧的目标位置(
replan_state()),不是实测值。 - 推理期间:旧块继续执行 b 帧。结果提前到了也要等到交接时刻
switch_at才接收;到交接时还没回来就原地保持(报告里的buffer_empty_cycles)。 - 接收时检查预测年龄(采集 → 接收)小于
max_prediction_age_s = 0.8 s。
由此得到三个关系:
- 推理间隔:T = (p+b)/15(推理装进缓冲时);
- 反应延迟:平均 T/2 + b/15,最坏 T + b/15;
- 硬约束:b/15 ≥ 采集等待 + 推理往返(ApexInfer 约 300 ms,所以 b ≥ 5,建议先用 6 留余量);p + b ≤ 30;b/15 < 0.8 s,即 b ≤ 11。
所以 b 由推理延迟决定,推理提速的收益体现在能把 b 压小;p 决定多勤快重新规划。
| p+b | 推理间隔 | 平均反应 | 最坏反应 |
|---|---|---|---|
| 20+5(现状) | 1.67 s | 1.17 s | 2.0 s |
| 10+6 | 1.07 s | 0.93 s | 1.47 s |
| 6+6 | 0.80 s | 0.80 s | 1.20 s |
| 4+6 | 0.67 s | 0.73 s | 1.07 s |
| 2+5 | 0.47 s | 0.57 s | 0.80 s |
建议按 6+6 → 4+6 的顺序试;实测 p95 的 capture_inference_ms 稳定低于 300 ms 后再把 b 降到 5。run_robot_badminton651.sh 会原样透传参数,不用改配置文件:
bash scripts/run_robot_badminton651.sh --mode dry-run --replan-steps 6 --buffer-steps 6
dry-run(读 SDK、不下发控制)或者由操作员真机跑。报告里重点看:buffer_empty_cycles(应接近 0)、capture_inference_ms(p95 小于 b/15)、previous_command_difference(交接跳变)、prediction_rejected、夹爪是否来回翻转。
handoff_target 模式被校验禁止插值和交接平滑,每次交接的跳变都会直接体现出来;每块只执行 p+b 帧,在“抓还是不抓”这类多解阶段可能来回犹豫;GPU 占用更高(2+5 时约 64% 的时间在推理),而 h7 本身是机器人主机。
3.2 压推理耗时 优先级 1
| 手段 | 说明 | 状态 / 风险 |
|---|---|---|
| 换推理后端 | TVM FP16 编译 + ApexInfer(UniRT),websocket 协议不变。同观测、同绑核下端到端 416 → 273 ms。 | 已完成,h7 上 shadow 已跑通 |
| 预处理改 OpenCV | 服务端按原口径用 CPU OpenCV 解码缩放,三路相机并行,约 25 ms。 | 已完成。h7 的 system.slice 默认只给 3 个核(11–13),被占满时预处理会涨到约 144 ms;公平对比要两边同样绑核 |
| NVFP4 / FP8 量化 | 参照 G1-D 同构 10 步正式包约 46 ms,剩下约 246 ms 几乎全在推理核上,这是下一刀。 | 需要先录约 300 帧真实观测做标定和精度对比 |
| 去噪步数 10 → 5 | 前缀(图像 + 提示词 + 状态)只算一次,去噪步数只影响后半段。客户端改不了:--denoise-steps 只对噪声搜索配置生效;ApexInfer 包的 10 步是编译时固定的,客户端还会校验服务端的 num_steps。 | 要重新出包并对精度。ApexInfer 还没按阶段拆分耗时,不先拆分算不出能省多少 |
| 排除 GPU 争用 | h7 上还有 cosine_runner 等进程占着 GPU,正式测速时要排除。 | 无 |
3.3 实时分块(RTC)衔接 优先级 2
频繁重规划时,新旧动作块直接硬切会抖动,或在两种抓法之间来回摇摆。RTC(Real-Time Chunking)的做法:生成新块时,把推理期间必然会执行的那几帧旧动作作为约束,新块在这段上和旧块一致,之后再自由修正。第一版部署没有用 RTC,要追求灵敏这一步基本绕不开。
实现现状:请求里要带上 prev_chunk_left_over 和 inference_delay = d。optimize_deploy 已经有 rtc.py 和请求解析,但现在的 ApexInfer FP16 包不支持 RTC,要重新编译带 denoise_loop_kv_rtc 的包,最好和量化编译一起做。接上之后客户端可以结果一到就接收,几帧就重新规划一次。推理降到约 50 ms 时,b 可以到 1–2、p 到 2–4,平均反应约 0.3 s 以内,那时交接跳变会成为主要问题,所以必须配合 RTC。
3.4 其他 优先级 3
重规划时使用实测状态
代码里已有 async_state_source: "measured":图像和状态来自同一次采集,接收时新块跳过已经过去的帧(start_frame ≈ b)。这个模式允许 arm_command_interpolation: pchip + handoff_blend_mode: adaptive_velocity 平滑交接,可作为接 RTC 之前的过渡方案。接上 RTC 之后衔接由 RTC 负责。
动作之间插值
现在 15 Hz 的每个动作保持约 67 ms,再以 100 Hz 原样重复下发。代码里已有 PCHIP 插值(arm_command_interpolation: pchip),但它和 handoff_target 被校验互斥,要先切到实测状态模式。插值只让动作更顺,不让反应更快。
按实测延迟自动决定请求时机
现在请求固定在第 p 帧发出,代码注释明确禁止根据延迟提前。可以加一个开关,改成在 switch_at − (p95 延迟 + 余量) 时发请求:交接点不变,b 自动等于实际需要的值,图像陈旧程度最小。改动小。
4 执行频率与训练的关系
公式里的 15 来自配置 policy_fps: 15.0。它不是推理频率,而是动作块的时间刻度:相邻两步固定相隔 1/15 s(约 66.7 ms),30 步就是 2 s 的动作。
| 频率 | 现在的值 | 能不能提高 |
|---|---|---|
| 轨迹的时间刻度(相邻两步隔多久) | 1/15 s,由训练决定 | 不能,改了等于改变动作速度 |
| 伺服下发频率 | 100 Hz | 已经比 15 Hz 高;插值能让它更平滑 |
| 重新规划频率(多久推理一次) | (p+b)/15 s 一次 | 能,上限由推理延迟决定,不受 15 Hz 限制 |
为什么时间刻度不能改
模型输出的第 k 步,含义是“第 k/15 秒时手臂应该在这里”,这是从 15 Hz 示教数据学到的时间关系。按 30 Hz 执行就是把 2 秒的轨迹压成 1 秒,速度翻倍:抓球、合夹爪的时机和示教不一致,下一次推理看到的画面和状态也是训练时没见过的,质量下降且有安全风险。
类比 15 fps 的视频:用 100 Hz 屏幕播放没问题,插值还更顺;但每秒播 30 帧就成了 2 倍速快进。
代码里的限制
validate_contract 只允许 policy_fps 为 15 或 30(注释 "matching training"),30 是给按 30 Hz 训练的模型用的。实际使用的是 execution_fps = policy_fps × execution_speed,execution_speed 限制在 (0, 1],只能放慢(用于真机调试),放慢会让 T 变长、反应更迟钝。
执行速度上限是不是被示教锁死了
默认情况下是:模仿学习(行为克隆)学到的速度上限就是示教时的速度,这是方法本身的局限,不是部署代码的问题。但要分清两点:
- 限制速度的是示教的动作速度,不是 15 Hz 采集频率。15 Hz 只是采样密度,用 30 Hz 采集同样一段慢动作,机器人也不会变快。采集设备一般不是瓶颈,相机通常 30 Hz 甚至更高。
- 超过示教速度是可以做到的,见下表。
| 方法 | 做法 | 代价 |
|---|---|---|
| 部署时加速播放 | execution_speed > 1,压缩时间执行 | 准静态动作通常能加速 1.5–2 倍,抓取和接触阶段容易失败。当前代码限制它 ≤ 1,这是有意的安全限制 |
| 分段加速 | 只在大范围移动这类低精度阶段加速,抓取和放入阶段保持原速 | 要判断当前所处阶段。DemoSpeedup、SAIL 这类工作是这个思路,论文报告过 2–3 倍提速 |
| 训练数据加速 | 对示教做时间下采样(如每 2 帧取 1 帧但仍按 15 Hz 标注),或加入速度条件输入 | 要重新训练;快速动作下观测分布变化,需要验证 |
| RL 微调 | 在模仿学习基础上用强化学习优化完成时间,如 π*0.6 的做法 | 成本最高,但这是真正突破示教上限的方法 |
| 提高示教质量 | 操作员示教得更快、更流畅 | 最直接,受限于人的能力 |
如果真想要更细的时间刻度,要用 30 Hz(或更高)重新采集或重采样数据并重训。代价是同样 30 步只覆盖 1 秒,要么调大 horizon,要么接受更短的预测窗口。
execution_speed ≤ 1 涉及真机安全,要先和产品、操作员确认。
5 训练方法
5.1 防止模型抄本体状态(最相关)
π0.5 把关节状态离散成 token 输入。模型很容易主要依赖状态,沿着轨迹惯性外推,对画面里球的位置变化不敏感。这正是“球动了它不理”的典型原因。
- 训练时给状态加噪声,或以 20%~50% 的概率随机丢弃状态;
- 或者只保留夹爪状态,弱化手臂状态;
- 用扰动测试集对比改动前后,确认模型确实更依赖画面。
5.2 训练时模拟推理延迟(训练期 RTC)
训练时随机取前 d 帧(d 在 0 到推理延迟对应的帧数之间)作为已知动作喂给模型,只监督后面的部分。模型训练时就习惯“前几帧已定、后面根据新画面修正”,部署时的异步衔接更一致。
5.3 重新考虑动作块长度和频率
动作块长度 30 本身不决定反应速度,关键是每次执行多少帧。如果改成每 5~8 帧重规划,可以把长度降到 16~20,让训练更聚焦近期动作。原始数据如果是 30 Hz,也可以试 30 Hz 训练,让动作更细(代价见第 4 节)。
5.4 加强腕部相机
抓取末段主要靠腕部相机。可以做颜色、裁剪、平移等增强,让模型对球在腕部画面中的位置变化更敏感。
6 数据补充(最关键)
模型只会做演示里出现过的行为。要它跟随移动的球,演示里必须有“球被移动 → 操作员立即改道”的完整过程。
| 类型 | 内容 | 建议占比 |
|---|---|---|
| 接近阶段移动 | 手臂靠近途中把球挪到另一个位置(5~30 cm),操作员立即改道跟过去 | 扰动类合计 20%~40% |
| 抓取前一刻移动 | 夹爪快合上时球被拨开,操作员张开夹爪、重新对准再抓 | |
| 多次移动 | 一个回合内球被移动 2~3 次 | |
| 抓取失败后恢复 | 空抓、球滑落以后重新抓 | |
| 球筒移动 | 拿起球后移动球筒,跟随放入 | |
| 静止基线 | 继续保留,并覆盖更多球的初始位置 | 60%~80% |
采集注意事项
比例
扰动数据太少模型学不到,太多会损害正常抓放。先按 20%~40% 起步,根据扰动测试结果调整。
操作员反应要快
演示里人的反应延迟会被模型学成自己的延迟。看到球动就立即改道,不要犹豫或停顿。
移动方式要多样
用手、用杆推、慢挪、突然拨开都要有。避免手长时间挡在镜头里,否则模型可能学成“看到手才动”。
连续录制,不剪修正段
扰动后的修正过程正是要学的内容,不要剪掉。格式保持一致:24 维状态和动作同序、三路相机、同一条提示词。
7 评估方法
先定义一组固定的扰动测试,作为改动前后的对照基线:
- 反应延迟:从球被移动到手臂开始改变方向的时间(看录像或关节曲线);
- 跟随成功率:扰动后最终抓到并放进筒的比例;
- 正常任务成功率:静止场景不能退化;
- 平滑度:重规划衔接处的关节加速度峰值,确认不抖。
离线也可以先查:在扰动片段上,移动球之后的观测是否让预测轨迹明显转向。如果画面变了预测几乎不变,说明模型在抄状态。
8 实施顺序
-
换推理后端(已完成)
ApexInfer FP16 + OpenCV 预处理,同观测同绑核下端到端 416 → 273 ms,推理已装进 5 帧缓冲。
-
只调参数缩短调度
用
--replan-steps/--buffer-steps试 6+6、4+6,在 dry-run(不下发控制)下看buffer_empty_cycles、capture_inference_ms和交接跳变,再交给操作员上真机。shadow 模式验证不了调度参数。 -
量化推理 + 拆分耗时
录约 300 帧真实观测,出 NVFP4 / FP8 包,锁频后分段测速并对精度。推理降下来后 b 可以继续压小。
-
加 RTC 衔接
编译带
denoise_loop_kv_rtc的包,客户端发 leftover 和 inference_delay、结果到了就接收。确认频繁重规划时动作不抖、不在两种抓法之间摇摆。 -
建立扰动测试基线
用第 7 节的指标测当前模型,记录反应延迟和成功率。
-
补采数据并微调
按第 6 节补采扰动和恢复数据,在当前 checkpoint 上继续微调,同时加状态 dropout 和延迟模拟。
-
对比验证
用同一组扰动测试对比微调前后,并确认静止场景不退化。