G2 放球任务优化 · 全程总结 · 2026-11-05 → 2026-11-16
G2 放球任务优化 · 全程总结与 Review
任务:π0.5 控制 AgiBot G2 把羽毛球放入筒(badminton651)。本文汇总专题开题以来 数据 → 训练 → 编译量化 → 推理服务 → 客户端调度 → 真机 各环节的优化项、相对基线的目标和实测效果, 最后给出 Review。数字均来自专题下各日报 / 专题页,口径不同处单独标注。
0. 一页结论
下表「最好档」取实测极限配置(3+3 pa / ds8 / RTC+pchip 5+5 等),不是日常推荐默认档(默认多为 fp4_ep0 4+4 pa)。
| 指标 | 基线 | 最好档 | 最好档配置 | 相对基线 |
|---|---|---|---|---|
| 请求→就绪延迟(r2r p50) | 416 ms | ≈77–90 ms | fp4_ds8 · 3+3 · phase-align(动态灵敏档) | −78% ~ −81% |
| 纯推理(apex p50) | 414 ms | ≈65 ms | ApexInfer NVFP4 · fp4_ds8(去噪 10→8) | 6.4× |
| 平均反应延迟(看到变化→新块接管) | ≈1.3 s | ≈0.20 s | 30Hz · 3+3(重规划周期 (3+3)/30=0.20 s;原 15Hz 20+5 为 1.67 s) | ≈6.5× |
| 命令跟踪误差(track p95) | 0.697 rad | 0.011 rad | RTC + pchip · 5+5 | −98% |
| 模型高频占比(execHF >3Hz) | 84.6% | ≈13% | pchip + ZP@3Hz + RTC(cmdHF ≈13%) | −85% |
| NVFP4 抽搐(hf7) | 4.12 | ≈1.6 | fp4_ep0(nvfp4_encoder_ffn,AE/e1→FP8);换向 12.6→8–9 | −61% |
| 任务成功(静态入筒) | — | 12/12 | FP4 · 3+3 · phase-align(另:FP8 RTC 4+4 为 6/6) | 一次成功 |
| 任务墙钟(播放倍速) | 49.1 s(1.0×) | 39.2 s | fp4_ep0 · 1.1×(1.2× 全精度禁用) | −20% |
一句话:推理与调度侧(延迟、反应周期、交接平滑、抖动)已从基线优化 4–6 倍并基本到顶;
瓶颈已转移到策略本身——示范速度决定动作快慢、成功率决定重试代价。
下一阶段主战场是 数据(clean_DG / FAST60)+ 训练 和 固定评测协议,而不是继续压 apex。
1. 全链路流程图
每个框:灰底 = 基线状态;列表 = 已做的优化;底行 = 当前产物。箭头方向即数据流。
STAGE 01
数据采集与处理
基线:15Hz 合并集 643 ep
- RDLB → LeRobot 30Hz 合并(376 ep / 123 万帧)
- gripper NaN 清理、校验
- q-range floor 0.2(修 loss 爆炸)
- dynbucket 增量 ~200 ep
- 示范频谱分析
- clean_DG 抖动清洗 276 ep
- FAST60 快且流畅 181 ep
→ 30hz_full / clean_DG / fast60
STAGE 02
训练
基线:15Hz step89999
- 30Hz 全量 90k(5000pro 8 卡)
- KTP 2×8 / 1×8 A800 镜像
- dynbucket A/B 双初始化
- clean_DG 重训 → clean_nvfp4
- FAST60 冒烟 200 step
- 可配 asset/horizon/ckpt 中途上传
→ 30hz_89999 · dynbucket 25k · clean
STAGE 03
导出 · 编译量化
基线:JAX bf16 直跑
- JAX → PyTorch lmhead 导出
- FP16 forge 包(cos 0.99991)
- FP8 真 GEMM + FlashRT(cos 0.99995)
- NVFP4 0054 + RTC kernel
- fp4_ep0 混合精度(AE→FP8)
- ds8:去噪 10→8 步
→ UniRT 包 FP16/FP8/NVFP4/ep0/ds8
STAGE 04
推理服务
基线:openpi JAX WS 448 ms
- ApexInfer 替换 JAX
- OpenCV 预处理、三路并行解码
- GPU nvJPEG 解码(prep 20→5 ms)
- 观测 Unix socket 传输
- 绑核 serve 0–11
- 停远端推流解 GPU 争用
→ :8013 RTC · IMAGE_DECODE=gpu
STAGE 05
客户端调度 · 真机
基线:20+5 · 零阶保持 · 无 RTC
- RTC 交接(overlap 0.16→0.01)
- 短重规划 20+5 → 4+4 / 3+3
- pchip 插值 + ZP@3Hz 低通
- phase-align 按交接选帧
- 播放倍速 ≤1.5(1.1 可用)
- client 绑核 11–13
→ async_rtc_smooth_zp_30hz · 4+4 pa
评测回流:robot-live 轨迹 →
analyze_jitter / extract_jitter(hf3 · hf7 · 换向)/
analyze_tracking(跟随 · gap)/ r2r · late · empty → 日报 → 反推到 数据清洗(示范频谱 → clean_DG)、
量化选层(hf7 → fp4_ep0)、调度档位(预算 vs r2r → p+b / pa)
2. 基线定义
| 维度 | 基线(2026-10-30 ~ 11-07,h6 / h7) | 出处 |
|---|---|---|
| 模型 | badminton651 · 15Hz · step 89999 · JAX/Orbax 直接加载 · horizon 30(2 s) | h6 部署文档 |
| 推理 | JAX bf16:h6 中位 448 ms / P95 494 ms;h7 同观测同绑核 apex 414 / 请求就绪 416 ms | h6 文档 · 动态响应报告 §4 |
| 调度 | 异步 20+5 @15Hz:每块执行 20 帧才请求,缓冲 5 帧(333 ms)< 推理 → 多数块迟到 | 优化方案 §1 |
| 反应 | 周期 ≈1.8 s;平均反应 ≈1.3 s,最坏 ≈2.2 s | 优化方案 §1 |
| 执行 | 15Hz 目标零阶保持,100Hz 重复下发;无插值、无 RTC;交接硬切 | h6 文档 §2.6 |
| 平滑 | 无插值 20+5:@frame p95 0.157 rad,track p95 0.697,mass@frame 100% | 动态响应报告 §8 A 组 |
3. 分环节优化项
状态:默认 已落地并为当前默认 · 完成 已落地 · 部分 产物就绪、效果待验 · 待做 · 否决(见 §4)。
3.1 数据采集与处理
| 优化项 | 目标(相对基线) | 效果数据 | 状态 |
|---|---|---|---|
| RDLB → LeRobot 30Hz 合并 | 不再下采样到 15Hz,动作时间刻度更细;可直接 OpenPI 训练 | 30hz_full:376 ep / 1,233,336 帧(train 358 / val 18);8 ep 冒烟 VERIFY_OK | 默认 |
| gripper NaN 清理 + 加载校验 | 消除数据坏值 | sanitize + verify(horizon 30)通过 | 完成 |
| q-range floor 0.2 + 剔除 ep17 | 修 dynbucket 训练 loss 爆炸 | 近常数关节(dim 8/10/11/12/14)q99−q01 过窄 → 归一化爆炸;floor 后稳态 ≈1.1 s/it 可长训 | 完成 |
| dynamic_bucket 增量采集 | 新任务:桶位置自由放置 | ~200 ep / ≈28 万帧 / ~300GB | 完成 |
| 示范轨迹频谱分析 | 判断抖动是否来自数据 | 示范 hf3 p50 3.53、hf7 2.14、换向 0.47/s;NVFP4 真机换向 12.6/s 远超数据(0% ep 能达到)→ 抽搐主因在量化/策略,不在数据 | 完成 |
| clean_DG 抖动清洗 | 削掉示范高频上限(P3 辅助) | 保留 276/376 ep(73%)、帧 77%;保留集 hf7 均值 2.29→2.02、track 6.33→5.71;重训后真机换向 8.5→≈8.1,hf7 同档 | 部分 |
| FAST60 快且流畅筛选 | 提升任务完成速度(示范决定动作快慢) | 保留 181/376 ep(帧 43% ≈4.9h);每球耗时 9.82→6.97 s(−29%),静止 5.8%→1.6%,重抓 0.22→0.09;实拷 7.2G | 部分 |
| 扰动 / 恢复数据补采 | 让模型学会跟随移动的球 | 方案已出(扰动 20–40%);未采 | 待做 |
3.2 训练
| 优化项 | 目标(相对基线) | 效果数据 | 状态 |
|---|---|---|---|
| 30Hz 全量训练 pi05_30hz_full_8gpu | 原生 30Hz 策略,替代 15Hz 2× 快放 | 5000pro 8 卡 FSDP,bs/gpu 8,90k → step 89999;成为所有真机包的权重源 | 默认 |
| KTP 2×8 / 1×8 A800 镜像 | 上云训练、释放本地卡 | 2×8 COLLECTIVE_OK,step0 loss≈0.51;镜像 ktp-30hz(A800 用 CUDA 12.2 pydeps) | 完成 |
| 单机 ckpt 中途上传 | 节点回收不丢权重 | 单机 train.py 每个 finalized step 即 niofs 上传(此前只在训练结束整包上传,曾丢 A/B ckpt) | 完成 |
| dynbucket A / B | A:pi05_base 起训;B:shuttle 89999 续训 | A 25k 出包;真机修 norm_stats 后 FP4 4+4 自由放桶 10/10 一次、FP8 7+7 4/5 | 完成 |
| clean_DG 重训 | 更顺的策略 | clean_nvfp4:换向 8.1 vs ep0 8.5,hf7 1.7–1.9 同档;≤1.1 倍速可用,1.2 仍禁 | 部分 |
| FAST60 训练 | 缩短任务墙钟 | 5000pro 8 卡 200 step 冒烟 395 s、稳态 1.6 s/step、loss 0.47→0.03;全量未训 | 待做 |
| 训练配置可参数化 | 多配方复用一套代码 | asset_id / action_horizon / weight_loader / save_interval 走环境变量;50Hz / dynbucket / FAST60 env 模板 | 完成 |
| 状态 dropout / 训练期 RTC / QAT | 降低抄状态、对齐异步、量化友好 | 方案阶段 | 待做 |
3.3 导出 · 编译量化
| 优化项 | 目标(相对基线) | 精度(vs JAX) | 效果数据(延迟) | 状态 |
|---|---|---|---|---|
| JAX → PyTorch lmhead 导出 | 进入 forge / UniRT 编译链 | norm 随训练资产 | — | 完成 |
| FP16 UniRT 包(ApexInfer) | 替换 JAX 推理 | joint cos 0.99991 | apex 414→246 ms(1.7×) | 完成 |
| FP8:真 fp8_gemm + FlashRT + cuda graph | 对齐 phone_fp8 ~70 ms | NORM24 cos 0.999948 · PHYS 0.999975 | Thor Session 125.7→65.4 ms;h7 apex ≈95–109 | 完成 |
| NVFP4 0054(e0+e1 全 FP4)+ RTC kernel | 极限延迟 | cos 0.9996 · mean_abs 0.011(夹爪维最差) | apex ≈63–72 ms(5.8×) | 入桶弃用 |
| fp4_ep0:nvfp4_encoder_ffn,AE/e1→FP8 | 去掉 NVFP4 抽搐、保留大部分速度 | 过 0.99 门 | apex ≈70–73;hf7 4.12→1.6(−60%),换向 12.6→8–9 | 默认 |
| fp4_ds8:去噪 10→8 | 再压延迟 | hf7 1.80 · 换向 9.5(略毛于 ep0) | apex 72→65(−10%) | 动态灵敏档 |
| RTC 编进包(denoise_loop_kv_rtc) | 交接一致 | apex 几乎不增 | 见 3.5 RTC | 默认 |
关键教训:NVFP4 在离线对点(cos 0.9996)过门,但真机 hf7≈hf3、换向 12.6/s 抽搐 —— 单帧精度门不能代表时序平滑, 需把 hf7 / 换向加进编译验收。
3.4 推理服务
| 优化项 | 目标 | 效果数据 | 状态 |
|---|---|---|---|
| ApexInfer 替换 openpi JAX | 推理装进缓冲 | 请求就绪 416→273(FP16)→136(FP8)→92 ms(NVFP4) | 默认 |
| OpenCV CPU 预处理、三路线程池 | prep 降到最慢一路 | prep ≈25 ms | 完成 |
| 方案 A:decode+letterbox 同线程并行 | 再压 prep | prep 20.9→16.3 ms,逐像素一致 | 完成 |
| GPU nvJPEG 解码(IMAGE_DECODE=gpu) | prep 出关键路径 | prep ≈19.6→5.2 ms | 默认 |
| 观测 Unix socket(替代 npz 轮询) | 收据→发出提速 | 31.6→16.5 ms;FP4 4+4 r2r 136–155→114,late 0% | 默认 |
| 绑核(serve 0–11 / client 11–13) | 避免 3 核 cgroup 抢占 | 防 prep 涨到 ~140 ms;FP8 未绑核场次已剔除 | 默认 |
| 停远端推流 g2_control_beta | 解 GPU JPG/ENC 争用 | WS r2r:nvfp4 67.8 / fp8 102.4 ms(apex 70→60) | 运维 |
| 方案 B 降采样解码 / 客户端预解码 rgb224 | 再 −10~16 ms | 离线估算 | 待做 |
3.5 客户端调度 · 控制
| 优化项 | 目标(相对基线) | 效果数据 | 状态 |
|---|---|---|---|
| RTC 实时分块 | 交接一致,使短重规划可用 | overlap_gap p50 0.16→0.01;jump 0.03→0.005;FP8 4+4 RTC 6/6 一次成功 vs plain 2/2 有重试 | 默认 |
| 短重规划 20+5@15Hz → 4+4@30Hz | 反应周期 | 重规划周期 1.67 s→0.27 s;平均反应 ≈1.17 s→≈0.27 s;FP4 4+4 静态 9/10 一次 | 默认 |
| pchip 插值(15/30Hz→100Hz) | 消零阶保持台阶 | @frame p95 0.157→0.014;mass@frame 100%→14%;cmdHF 97%→77–85% | 默认 |
| RTC + pchip | 稳住后半段跟踪 | track p95 0.697→0.016(20+5)/ 0.011(5+5),track>0.08 35%→0% | 默认 |
| ZP@3Hz 逐 chunk 零相位低通(仅手臂) | 砍模型输出高频 | execHF 84.6%→14%;pchip+ZP 后 exec/cmd = 13.4% / 12.6% | 默认 |
| phase-align(按交接选最新齐套帧) | 紧预算下压 late | 3+3:late 86%→25%、r2r 106→89、静态 12/12;4+4:late 4%→0.3–1.6% | 默认 |
| 3+3 pa 动态档 | 最灵敏跟随 | ds8 3+3 pa r2r 77 ms,跟随 p95 0.128;ep0 3+3 易空缓冲 hold | 可选 |
| 播放倍速 execution_speed 上限 1→1.5 | 缩短任务墙钟 | 1.1:ep0 墙钟 49.1→39.2 s(−20%),跟随/gap 尚可;1.2:gap p95 0.028→0.254、jump→20,全精度禁用 | ≤1.1 |
| capture lead / 观测新鲜度放宽 | 3+3 零迟到(r2o 77→≤50) | 方案已出 | 待做 |
3.6 评测体系
| 工具 / 指标 | 回答的问题 | 引入后的作用 |
|---|---|---|
| r2r / apex / late / slack / empty | 推理跟不跟得上调度 | 得出「预算 b/fps 必须盖住 r2r,余量 ≥20 ms 时 late<10%」的选档规则 |
| overlap_gap / handoff jump | 交接是否一致 | 定量证明 RTC 价值(一个数量级) |
| @frame / track p95 / mass@frame | 台阶、跟踪 | 拆出零阶保持 vs 模型抖 |
| execHF / cmdHF / 频段占比 | 抖来自模型还是执行 | 定位残差抖动 = flow-matching 输出高频 → ZP |
| hf3 / hf7 / 换向 / hf/速度 | 平滑度、量化锯齿 | 定位 NVFP4 e1 抽搐 → fp4_ep0 |
| 跟随 p95 / >0.10 / gap p95 | 倍速上限 | 确定 1.1 可用、1.2 禁用(不是 late) |
4. 已否决项(有数据支撑)
| 尝试 | 假设 | 结果 |
|---|---|---|
| policy_fps 15→30 快放(15Hz 模型) | 更快更灵敏 | 2× 速 / 4× 加速度;一场 2–4 次才成功、一场 0 进桶并掉桶;tracking_warning 72–93% |
| fixed-noise seed(部署固定扩散噪声) | 抖来自每次重采样 | 三精度均未减抖;NVFP4 左手挪桶 |
| 跨 chunk 拼段 DCT(zero_phase_dct_cross) | 消交接处高频 | filt hf3 1.84→6.45,有害 |
| 仅 pchip 作为减抖终态 | 插值即平滑 | execHF 不变(插值过点);中后段 track 回升 |
| NVFP4 e0+e1 作入桶默认 | 最快即最好 | hf7≈hf3、换向 12.6/s 抽搐 |
| 3+4 / 只加 buffer | 多给预算 | RTC 约束 d≤s≤p 难满足,易回退 |
| dynbucket FP16 包内 norm_stats | 直接用 forge 包 | arm q-span≈0 退化,夹爪乱抓;须用训练资产覆盖 |
5. 演进时间线
10-26 ~ 11-05
15Hz 89999 在 h6 跑通(JAX 448 ms,20+5);RDLB 30Hz 合并、30hz_full 90k 训练;FP8/NVFP4 forge 编译对点(cos≥0.99)。
11-07
h7 换 ApexInfer FP16:同观测 416→273 ms;动态响应优化方案出炉。
11-11
RTC 上线;四组 A/B(基线 / pchip / RTC+pchip 20+5 / 5+5):track p95 0.697→0.011;频谱定位模型高频。
11-12
精度 × 滤波 A/B:pchip+ZP 最优(exec/cmd 13% / 13%);FP8 4+4 RTC 6/6;15Hz 快放否决。
11-13
30Hz 包(FP8/FP4)上真机;GPU nvJPEG + OBS socket:FP4 4+4 r2r 155→114、late 0%。
11-14
phase-align:3+3 late 86%→25%、12/12;FP4 4+4 静态 9/10;停推流;dynbucket 自由放桶 FP4 10/10。
11-15
入桶三精度抖动拆因;fixed-noise / cross-DCT 否决;fp4_ep0 hf7 −58%;示范频谱;clean_DG 生成;倍速上限放宽到 1.5。
11-16
跨精度倍速:≤1.1 可用、1.2 禁;ds8 apex 65;动态跟球选档;clean_nvfp4 上机;FAST60 筛选 + 5000pro 冒烟。
6. 当前推荐部署档
| 场景 | 推荐 | apex | r2r | 关键数 | 勿用 |
|---|---|---|---|---|---|
| 静态入筒 | fp4_ep0 · 4+4 · pa · speed 1.0~1.1 | 70 | 112 | late 0.3–1.6%,hf7≈1.6 | 旧 30hz_fp4(e0+e1) |
| 更顺的入筒 | clean_nvfp4 · 4+4 · pa · ≤1.1 | 70 | 114 | 换向 ≈8.1 | 任何 FP4 · 1.2 |
| 动态跟球 · 稳 | fp4_ep0 · 4+4 · pa · 1.0 | 71 | 115 | 跟随 p95 0.135,empty 低 | ep0 · 3+3(易 hold) |
| 动态跟球 · 灵敏 | fp4_ds8 · 3+3 · pa · 1.0 | 59 | 77 | 跟随 p95 0.128 | — |
| 自由放桶 | fp4_dynbucket · 4+4(训练 norm) | 72 | 117 | 10/10 一次 | 包内退化 norm |
统一客户端:taskset -c 11-13 … --schedule async_rtc_smooth_zp_30hz --phase-align on;服务 :8013 RTC · IMAGE_DECODE=gpu。
7. REVIEW
7.1 评分(按环节)
数据
B
工具齐,效果未闭环
训练
B
基线稳,新数据未全训
编译量化
A−
5.9×;门禁缺时序项
推理服务
A
r2r 已接近下限
调度 / 评测
A−
机制清楚;样本量小
7.2 做得好的
单变量 A/B + 指标先行
- 抖动线按「基线 → +pchip → +RTC → 5+5」逐项加,频谱再拆「数据 / 模型 / 执行」三源,没有拍脑袋归因。
- 为每个问题造了对应指标(overlap、execHF、hf7、gap),并写了名词解释,结论可复核。
负结果有记录
- 快放、fixed-noise、cross-DCT、e0+e1 NVFP4 都有实测否决和原因,避免重复投入。
延迟优化按关键路径逐段拆
- r2r 拆成 等帧 / 收据→发出 / 网络 / prep / apex,逐段压(nvJPEG、socket、phase-align),而不是只盯模型。
- 选档规则「预算 b/fps − r2r ≥ 20 ms」可直接复用到新包。
及时识别瓶颈转移
- 任务加速页明确指出「推理快 ≠ 任务快」,把方向转向示范速度(FAST60)和倍速,判断正确。
7.3 问题与风险
| 级别 | 问题 | 影响 | 证据 |
|---|---|---|---|
| 高 | 成功率样本量太小、无固定评测协议 | 多数档 1–4 场 × 3 球、操作员口述;无法区分 9/10 和 12/12 是否显著 | 优化方案 §7 的扰动基线未建;clean 1.0 两场墙钟 43.6 vs 58.0 s |
| 高 | 任务墙钟未系统测量 | 「加速」目标缺主 KPI;倍速、clean、FAST60 的效果无法量化比较 | 墙钟取自 control_trace 首末(含收尾),非「放完 N 球」净时间 |
| 中 | 离线精度门不覆盖时序平滑 | NVFP4 过门但真机抽搐,靠真机才发现 | cos 0.9996 vs 真机 hf7 4.12 |
| 中 | 口径跨日漂移 | 15Hz/30Hz、h6/h7、Thor Session vs h7 apex、client_rt vs r2r 混在不同日报 | 动态响应报告 §4 已单列口径,但日报之间仍需换算 |
| 中 | 数据侧优化未闭环 | clean_DG 只测了 5 场;FAST60 仅冒烟,未出包上机 | §3.1 / §3.2 |
| 中 | 动态跟随能力仍弱 | shuttle 任务「跟一次就放」、FP8 几乎全失败;瓶颈在策略/数据 | 11-15 日报 shuttle 段 |
| 低 | 运维脆弱点 | norm_stats 退化、GPU 争用、WS CLOSE-WAIT 需重启、ProcessPredictor 漏透传 | 11-14 / 11-16 运维记录 |
| 低 | FAST60 自身偏置 | 保留集 hf7 略高(2.05 vs 1.85);与 clean_DG 重叠 155 ep | FAST60 页 §6 |
7.4 下一步建议(按优先级)
| 优先级 | 动作 | 验收 |
|---|---|---|
| P0 | 固定评测协议:静态 + 扰动两套,固定球位/桶位,每档 ≥10 次;记「每球净耗时」和一次成功率 | 每个候选包都有 N≥10 的成功率与每球耗时,带置信区间 |
| P0 | FAST60 全量训练 → fp4_ep0 模板出包,与 30hz_full / clean_DG 三方对比 | 每球耗时 ≤ 基线 −15%,一次成功率不降;hf7 ≤ 1.9 |
| P1 | 编译门禁加时序指标:离线回放 chunk 的 hf7 / 换向,相对 FP8 ≤ +20% | forge compare 报告新增两列;e0+e1 类包自动拦截 |
| P1 | 分段倍速:空中搬运 1.2–1.3×,接触段 1.0× | 墙钟再 −10%,gap p95 < 0.05 |
| P1 | 扰动/恢复数据补采 20–40% + 状态 dropout 微调 | 扰动跟随成功率显著提升;静态不退化 |
| P2 | capture lead + 方案 B 解码,压 3+3 尾部 | 3+3 late = 0、slack_min ≥ 20 ms |
| P2 | 统一指标口径页(一张换算表),日报只引用 | 所有日报表头口径一致 |
| P3 | 时间惩罚 RL / 速度条件化 | 突破示范速度上限 |
8. 来源
| 环节 | 页面 |
|---|---|
| 基线部署 | h6 推理部署与执行流程 |
| 响应方案 | 动态响应优化方案 · 插值 vs 平滑 · RTC 论文译本 |
| 实测报告 | 动态响应实测报告(RTC / 精度 / 抖动) |
| 日报 | 11-13 · 11-14 · 11-14 全日 · 11-15 · 11-16 · 自由放桶 |
| 专题 | 任务加速 · clean_DG · FAST60 |
| 训练 | π0.5 训练流程 · 仓库 docs/badminton_30hz_training_summary.html |