G2 放球任务优化 · 全程总结 · 2026-11-05 → 2026-11-16

G2 放球任务优化 · 全程总结与 Review

任务:π0.5 控制 AgiBot G2 把羽毛球放入筒(badminton651)。本文汇总专题开题以来 数据 → 训练 → 编译量化 → 推理服务 → 客户端调度 → 真机 各环节的优化项、相对基线的目标和实测效果, 最后给出 Review。数字均来自专题下各日报 / 专题页,口径不同处单独标注。

0. 一页结论

下表「最好档」取实测极限配置(3+3 pa / ds8 / RTC+pchip 5+5 等),不是日常推荐默认档(默认多为 fp4_ep0 4+4 pa)。

指标 基线 最好档 最好档配置 相对基线
请求→就绪延迟(r2r p50) 416 ms ≈77–90 ms fp4_ds8 · 3+3 · phase-align(动态灵敏档) −78% ~ −81%
纯推理(apex p50) 414 ms ≈65 ms ApexInfer NVFP4 · fp4_ds8(去噪 10→8) 6.4×
平均反应延迟(看到变化→新块接管) ≈1.3 s ≈0.20 s 30Hz · 3+3(重规划周期 (3+3)/30=0.20 s;原 15Hz 20+5 为 1.67 s) ≈6.5×
命令跟踪误差(track p95) 0.697 rad 0.011 rad RTC + pchip · 5+5 −98%
模型高频占比(execHF >3Hz) 84.6% ≈13% pchip + ZP@3Hz + RTC(cmdHF ≈13%) −85%
NVFP4 抽搐(hf7) 4.12 ≈1.6 fp4_ep0(nvfp4_encoder_ffn,AE/e1→FP8);换向 12.6→8–9 −61%
任务成功(静态入筒) — 12/12 FP4 · 3+3 · phase-align(另:FP8 RTC 4+4 为 6/6) 一次成功
任务墙钟(播放倍速) 49.1 s(1.0×) 39.2 s fp4_ep0 · 1.1×(1.2× 全精度禁用) −20%
一句话:推理与调度侧(延迟、反应周期、交接平滑、抖动)已从基线优化 4–6 倍并基本到顶; 瓶颈已转移到策略本身——示范速度决定动作快慢、成功率决定重试代价。 下一阶段主战场是 数据(clean_DG / FAST60)+ 训练 和 固定评测协议,而不是继续压 apex。

1. 全链路流程图

每个框:灰底 = 基线状态;列表 = 已做的优化;底行 = 当前产物。箭头方向即数据流。

STAGE 01
数据采集与处理
基线:15Hz 合并集 643 ep
  • RDLB → LeRobot 30Hz 合并(376 ep / 123 万帧)
  • gripper NaN 清理、校验
  • q-range floor 0.2(修 loss 爆炸)
  • dynbucket 增量 ~200 ep
  • 示范频谱分析
  • clean_DG 抖动清洗 276 ep
  • FAST60 快且流畅 181 ep
→ 30hz_full / clean_DG / fast60
STAGE 02
训练
基线:15Hz step89999
  • 30Hz 全量 90k(5000pro 8 卡)
  • KTP 2×8 / 1×8 A800 镜像
  • dynbucket A/B 双初始化
  • clean_DG 重训 → clean_nvfp4
  • FAST60 冒烟 200 step
  • 可配 asset/horizon/ckpt 中途上传
→ 30hz_89999 · dynbucket 25k · clean
STAGE 03
导出 · 编译量化
基线:JAX bf16 直跑
  • JAX → PyTorch lmhead 导出
  • FP16 forge 包(cos 0.99991)
  • FP8 真 GEMM + FlashRT(cos 0.99995)
  • NVFP4 0054 + RTC kernel
  • fp4_ep0 混合精度(AE→FP8)
  • ds8:去噪 10→8 步
→ UniRT 包 FP16/FP8/NVFP4/ep0/ds8
STAGE 04
推理服务
基线:openpi JAX WS 448 ms
  • ApexInfer 替换 JAX
  • OpenCV 预处理、三路并行解码
  • GPU nvJPEG 解码(prep 20→5 ms)
  • 观测 Unix socket 传输
  • 绑核 serve 0–11
  • 停远端推流解 GPU 争用
→ :8013 RTC · IMAGE_DECODE=gpu
STAGE 05
客户端调度 · 真机
基线:20+5 · 零阶保持 · 无 RTC
  • RTC 交接(overlap 0.16→0.01)
  • 短重规划 20+5 → 4+4 / 3+3
  • pchip 插值 + ZP@3Hz 低通
  • phase-align 按交接选帧
  • 播放倍速 ≤1.5(1.1 可用)
  • client 绑核 11–13
→ async_rtc_smooth_zp_30hz · 4+4 pa
评测回流:robot-live 轨迹 → analyze_jitter / extract_jitter(hf3 · hf7 · 换向)/ analyze_tracking(跟随 · gap)/ r2r · late · empty → 日报 → 反推到 数据清洗(示范频谱 → clean_DG)、 量化选层(hf7 → fp4_ep0)、调度档位(预算 vs r2r → p+b / pa)

2. 基线定义

维度基线(2026-10-30 ~ 11-07,h6 / h7)出处
模型badminton651 · 15Hz · step 89999 · JAX/Orbax 直接加载 · horizon 30(2 s)h6 部署文档
推理JAX bf16:h6 中位 448 ms / P95 494 ms;h7 同观测同绑核 apex 414 / 请求就绪 416 msh6 文档 · 动态响应报告 §4
调度异步 20+5 @15Hz:每块执行 20 帧才请求,缓冲 5 帧(333 ms)< 推理 → 多数块迟到优化方案 §1
反应周期 ≈1.8 s;平均反应 ≈1.3 s,最坏 ≈2.2 s优化方案 §1
执行15Hz 目标零阶保持,100Hz 重复下发;无插值、无 RTC;交接硬切h6 文档 §2.6
平滑无插值 20+5:@frame p95 0.157 rad,track p95 0.697,mass@frame 100%动态响应报告 §8 A 组

3. 分环节优化项

状态:默认 已落地并为当前默认 · 完成 已落地 · 部分 产物就绪、效果待验 · 待做 · 否决(见 §4)。

3.1 数据采集与处理

优化项目标(相对基线)效果数据状态
RDLB → LeRobot 30Hz 合并不再下采样到 15Hz,动作时间刻度更细;可直接 OpenPI 训练 30hz_full:376 ep / 1,233,336 帧(train 358 / val 18);8 ep 冒烟 VERIFY_OK默认
gripper NaN 清理 + 加载校验消除数据坏值sanitize + verify(horizon 30)通过完成
q-range floor 0.2 + 剔除 ep17修 dynbucket 训练 loss 爆炸 近常数关节(dim 8/10/11/12/14)q99−q01 过窄 → 归一化爆炸;floor 后稳态 ≈1.1 s/it 可长训完成
dynamic_bucket 增量采集新任务:桶位置自由放置~200 ep / ≈28 万帧 / ~300GB完成
示范轨迹频谱分析判断抖动是否来自数据 示范 hf3 p50 3.53、hf7 2.14、换向 0.47/s;NVFP4 真机换向 12.6/s 远超数据(0% ep 能达到)→ 抽搐主因在量化/策略,不在数据完成
clean_DG 抖动清洗削掉示范高频上限(P3 辅助) 保留 276/376 ep(73%)、帧 77%;保留集 hf7 均值 2.29→2.02、track 6.33→5.71;重训后真机换向 8.5→≈8.1,hf7 同档部分
FAST60 快且流畅筛选提升任务完成速度(示范决定动作快慢) 保留 181/376 ep(帧 43% ≈4.9h);每球耗时 9.82→6.97 s(−29%),静止 5.8%→1.6%,重抓 0.22→0.09;实拷 7.2G部分
扰动 / 恢复数据补采让模型学会跟随移动的球方案已出(扰动 20–40%);未采待做

3.2 训练

优化项目标(相对基线)效果数据状态
30Hz 全量训练 pi05_30hz_full_8gpu原生 30Hz 策略,替代 15Hz 2× 快放 5000pro 8 卡 FSDP,bs/gpu 8,90k → step 89999;成为所有真机包的权重源默认
KTP 2×8 / 1×8 A800 镜像上云训练、释放本地卡 2×8 COLLECTIVE_OK,step0 loss≈0.51;镜像 ktp-30hz(A800 用 CUDA 12.2 pydeps)完成
单机 ckpt 中途上传节点回收不丢权重单机 train.py 每个 finalized step 即 niofs 上传(此前只在训练结束整包上传,曾丢 A/B ckpt)完成
dynbucket A / BA:pi05_base 起训;B:shuttle 89999 续训 A 25k 出包;真机修 norm_stats 后 FP4 4+4 自由放桶 10/10 一次、FP8 7+7 4/5完成
clean_DG 重训更顺的策略clean_nvfp4:换向 8.1 vs ep0 8.5,hf7 1.7–1.9 同档;≤1.1 倍速可用,1.2 仍禁部分
FAST60 训练缩短任务墙钟5000pro 8 卡 200 step 冒烟 395 s、稳态 1.6 s/step、loss 0.47→0.03;全量未训待做
训练配置可参数化多配方复用一套代码asset_id / action_horizon / weight_loader / save_interval 走环境变量;50Hz / dynbucket / FAST60 env 模板完成
状态 dropout / 训练期 RTC / QAT降低抄状态、对齐异步、量化友好方案阶段待做

3.3 导出 · 编译量化

优化项目标(相对基线)精度(vs JAX)效果数据(延迟)状态
JAX → PyTorch lmhead 导出进入 forge / UniRT 编译链norm 随训练资产—完成
FP16 UniRT 包(ApexInfer)替换 JAX 推理joint cos 0.99991apex 414→246 ms(1.7×)完成
FP8:真 fp8_gemm + FlashRT + cuda graph对齐 phone_fp8 ~70 msNORM24 cos 0.999948 · PHYS 0.999975 Thor Session 125.7→65.4 ms;h7 apex ≈95–109完成
NVFP4 0054(e0+e1 全 FP4)+ RTC kernel极限延迟cos 0.9996 · mean_abs 0.011(夹爪维最差) apex ≈63–72 ms(5.8×)入桶弃用
fp4_ep0:nvfp4_encoder_ffn,AE/e1→FP8去掉 NVFP4 抽搐、保留大部分速度过 0.99 门 apex ≈70–73;hf7 4.12→1.6(−60%),换向 12.6→8–9默认
fp4_ds8:去噪 10→8再压延迟hf7 1.80 · 换向 9.5(略毛于 ep0) apex 72→65(−10%)动态灵敏档
RTC 编进包(denoise_loop_kv_rtc)交接一致apex 几乎不增见 3.5 RTC默认

关键教训:NVFP4 在离线对点(cos 0.9996)过门,但真机 hf7≈hf3、换向 12.6/s 抽搐 —— 单帧精度门不能代表时序平滑, 需把 hf7 / 换向加进编译验收。

3.4 推理服务

优化项目标效果数据状态
ApexInfer 替换 openpi JAX推理装进缓冲请求就绪 416→273(FP16)→136(FP8)→92 ms(NVFP4)默认
OpenCV CPU 预处理、三路线程池prep 降到最慢一路prep ≈25 ms完成
方案 A:decode+letterbox 同线程并行再压 prepprep 20.9→16.3 ms,逐像素一致完成
GPU nvJPEG 解码(IMAGE_DECODE=gpu)prep 出关键路径prep ≈19.6→5.2 ms默认
观测 Unix socket(替代 npz 轮询)收据→发出提速31.6→16.5 ms;FP4 4+4 r2r 136–155→114,late 0%默认
绑核(serve 0–11 / client 11–13)避免 3 核 cgroup 抢占防 prep 涨到 ~140 ms;FP8 未绑核场次已剔除默认
停远端推流 g2_control_beta解 GPU JPG/ENC 争用WS r2r:nvfp4 67.8 / fp8 102.4 ms(apex 70→60)运维
方案 B 降采样解码 / 客户端预解码 rgb224再 −10~16 ms离线估算待做

3.5 客户端调度 · 控制

优化项目标(相对基线)效果数据状态
RTC 实时分块交接一致,使短重规划可用 overlap_gap p50 0.16→0.01;jump 0.03→0.005;FP8 4+4 RTC 6/6 一次成功 vs plain 2/2 有重试默认
短重规划 20+5@15Hz → 4+4@30Hz反应周期 重规划周期 1.67 s→0.27 s;平均反应 ≈1.17 s→≈0.27 s;FP4 4+4 静态 9/10 一次默认
pchip 插值(15/30Hz→100Hz)消零阶保持台阶@frame p95 0.157→0.014;mass@frame 100%→14%;cmdHF 97%→77–85%默认
RTC + pchip稳住后半段跟踪track p95 0.697→0.016(20+5)/ 0.011(5+5),track>0.08 35%→0%默认
ZP@3Hz 逐 chunk 零相位低通(仅手臂)砍模型输出高频execHF 84.6%→14%;pchip+ZP 后 exec/cmd = 13.4% / 12.6%默认
phase-align(按交接选最新齐套帧)紧预算下压 late 3+3:late 86%→25%、r2r 106→89、静态 12/12;4+4:late 4%→0.3–1.6%默认
3+3 pa 动态档最灵敏跟随ds8 3+3 pa r2r 77 ms,跟随 p95 0.128;ep0 3+3 易空缓冲 hold可选
播放倍速 execution_speed 上限 1→1.5缩短任务墙钟 1.1:ep0 墙钟 49.1→39.2 s(−20%),跟随/gap 尚可;1.2:gap p95 0.028→0.254、jump→20,全精度禁用≤1.1
capture lead / 观测新鲜度放宽3+3 零迟到(r2o 77→≤50)方案已出待做

3.6 评测体系

工具 / 指标回答的问题引入后的作用
r2r / apex / late / slack / empty推理跟不跟得上调度得出「预算 b/fps 必须盖住 r2r,余量 ≥20 ms 时 late<10%」的选档规则
overlap_gap / handoff jump交接是否一致定量证明 RTC 价值(一个数量级)
@frame / track p95 / mass@frame台阶、跟踪拆出零阶保持 vs 模型抖
execHF / cmdHF / 频段占比抖来自模型还是执行定位残差抖动 = flow-matching 输出高频 → ZP
hf3 / hf7 / 换向 / hf/速度平滑度、量化锯齿定位 NVFP4 e1 抽搐 → fp4_ep0
跟随 p95 / >0.10 / gap p95倍速上限确定 1.1 可用、1.2 禁用(不是 late)

4. 已否决项(有数据支撑)

尝试假设结果
policy_fps 15→30 快放(15Hz 模型)更快更灵敏2× 速 / 4× 加速度;一场 2–4 次才成功、一场 0 进桶并掉桶;tracking_warning 72–93%
fixed-noise seed(部署固定扩散噪声)抖来自每次重采样三精度均未减抖;NVFP4 左手挪桶
跨 chunk 拼段 DCT(zero_phase_dct_cross)消交接处高频filt hf3 1.84→6.45,有害
仅 pchip 作为减抖终态插值即平滑execHF 不变(插值过点);中后段 track 回升
NVFP4 e0+e1 作入桶默认最快即最好hf7≈hf3、换向 12.6/s 抽搐
3+4 / 只加 buffer多给预算RTC 约束 d≤s≤p 难满足,易回退
dynbucket FP16 包内 norm_stats直接用 forge 包arm q-span≈0 退化,夹爪乱抓;须用训练资产覆盖

5. 演进时间线

10-26 ~ 11-05
15Hz 89999 在 h6 跑通(JAX 448 ms,20+5);RDLB 30Hz 合并、30hz_full 90k 训练;FP8/NVFP4 forge 编译对点(cos≥0.99)。
11-07
h7 换 ApexInfer FP16:同观测 416→273 ms;动态响应优化方案出炉。
11-11
RTC 上线;四组 A/B(基线 / pchip / RTC+pchip 20+5 / 5+5):track p95 0.697→0.011;频谱定位模型高频。
11-12
精度 × 滤波 A/B:pchip+ZP 最优(exec/cmd 13% / 13%);FP8 4+4 RTC 6/6;15Hz 快放否决。
11-13
30Hz 包(FP8/FP4)上真机;GPU nvJPEG + OBS socket:FP4 4+4 r2r 155→114、late 0%。
11-14
phase-align:3+3 late 86%→25%、12/12;FP4 4+4 静态 9/10;停推流;dynbucket 自由放桶 FP4 10/10。
11-15
入桶三精度抖动拆因;fixed-noise / cross-DCT 否决;fp4_ep0 hf7 −58%;示范频谱;clean_DG 生成;倍速上限放宽到 1.5。
11-16
跨精度倍速:≤1.1 可用、1.2 禁;ds8 apex 65;动态跟球选档;clean_nvfp4 上机;FAST60 筛选 + 5000pro 冒烟。

6. 当前推荐部署档

场景推荐apexr2r关键数勿用
静态入筒fp4_ep0 · 4+4 · pa · speed 1.0~1.170112late 0.3–1.6%,hf7≈1.6旧 30hz_fp4(e0+e1)
更顺的入筒clean_nvfp4 · 4+4 · pa · ≤1.170114换向 ≈8.1任何 FP4 · 1.2
动态跟球 · 稳fp4_ep0 · 4+4 · pa · 1.071115跟随 p95 0.135,empty 低ep0 · 3+3(易 hold)
动态跟球 · 灵敏fp4_ds8 · 3+3 · pa · 1.05977跟随 p95 0.128—
自由放桶fp4_dynbucket · 4+4(训练 norm)7211710/10 一次包内退化 norm

统一客户端:taskset -c 11-13 … --schedule async_rtc_smooth_zp_30hz --phase-align on;服务 :8013 RTC · IMAGE_DECODE=gpu。

7. REVIEW

7.1 评分(按环节)

数据
B
工具齐,效果未闭环
训练
B
基线稳,新数据未全训
编译量化
A−
5.9×;门禁缺时序项
推理服务
A
r2r 已接近下限
调度 / 评测
A−
机制清楚;样本量小

7.2 做得好的

单变量 A/B + 指标先行

  • 抖动线按「基线 → +pchip → +RTC → 5+5」逐项加,频谱再拆「数据 / 模型 / 执行」三源,没有拍脑袋归因。
  • 为每个问题造了对应指标(overlap、execHF、hf7、gap),并写了名词解释,结论可复核。

负结果有记录

  • 快放、fixed-noise、cross-DCT、e0+e1 NVFP4 都有实测否决和原因,避免重复投入。

延迟优化按关键路径逐段拆

  • r2r 拆成 等帧 / 收据→发出 / 网络 / prep / apex,逐段压(nvJPEG、socket、phase-align),而不是只盯模型。
  • 选档规则「预算 b/fps − r2r ≥ 20 ms」可直接复用到新包。

及时识别瓶颈转移

  • 任务加速页明确指出「推理快 ≠ 任务快」,把方向转向示范速度(FAST60)和倍速,判断正确。

7.3 问题与风险

级别问题影响证据
高成功率样本量太小、无固定评测协议多数档 1–4 场 × 3 球、操作员口述;无法区分 9/10 和 12/12 是否显著优化方案 §7 的扰动基线未建;clean 1.0 两场墙钟 43.6 vs 58.0 s
高任务墙钟未系统测量「加速」目标缺主 KPI;倍速、clean、FAST60 的效果无法量化比较墙钟取自 control_trace 首末(含收尾),非「放完 N 球」净时间
中离线精度门不覆盖时序平滑NVFP4 过门但真机抽搐,靠真机才发现cos 0.9996 vs 真机 hf7 4.12
中口径跨日漂移15Hz/30Hz、h6/h7、Thor Session vs h7 apex、client_rt vs r2r 混在不同日报动态响应报告 §4 已单列口径,但日报之间仍需换算
中数据侧优化未闭环clean_DG 只测了 5 场;FAST60 仅冒烟,未出包上机§3.1 / §3.2
中动态跟随能力仍弱shuttle 任务「跟一次就放」、FP8 几乎全失败;瓶颈在策略/数据11-15 日报 shuttle 段
低运维脆弱点norm_stats 退化、GPU 争用、WS CLOSE-WAIT 需重启、ProcessPredictor 漏透传11-14 / 11-16 运维记录
低FAST60 自身偏置保留集 hf7 略高(2.05 vs 1.85);与 clean_DG 重叠 155 epFAST60 页 §6

7.4 下一步建议(按优先级)

优先级动作验收
P0固定评测协议:静态 + 扰动两套,固定球位/桶位,每档 ≥10 次;记「每球净耗时」和一次成功率每个候选包都有 N≥10 的成功率与每球耗时,带置信区间
P0FAST60 全量训练 → fp4_ep0 模板出包,与 30hz_full / clean_DG 三方对比每球耗时 ≤ 基线 −15%,一次成功率不降;hf7 ≤ 1.9
P1编译门禁加时序指标:离线回放 chunk 的 hf7 / 换向,相对 FP8 ≤ +20%forge compare 报告新增两列;e0+e1 类包自动拦截
P1分段倍速:空中搬运 1.2–1.3×,接触段 1.0×墙钟再 −10%,gap p95 < 0.05
P1扰动/恢复数据补采 20–40% + 状态 dropout 微调扰动跟随成功率显著提升;静态不退化
P2capture lead + 方案 B 解码,压 3+3 尾部3+3 late = 0、slack_min ≥ 20 ms
P2统一指标口径页(一张换算表),日报只引用所有日报表头口径一致
P3时间惩罚 RL / 速度条件化突破示范速度上限

8. 来源

环节页面
基线部署h6 推理部署与执行流程
响应方案动态响应优化方案 · 插值 vs 平滑 · RTC 论文译本
实测报告动态响应实测报告(RTC / 精度 / 抖动)
日报11-13 · 11-14 · 11-14 全日 · 11-15 · 11-16 · 自由放桶
专题任务加速 · clean_DG · FAST60
训练π0.5 训练流程 · 仓库 docs/badminton_30hz_training_summary.html