羽毛球 · 日报 · h7 真机 execute · 详表见 results/jitter-analysis/tube-30hz-compare.html
2026-11-15 日报
四条线:① shuttle 跟随;② 入桶抖动拆因 + 缓解否决;③ 训练示范频谱;④ fp4_ep0 验证通过,档位对比 3+3 pa / 4+4 / 4+4 pa 已齐。
总览
入桶同 ckpt step89999 · 各精度代表场(最优调度档)· 指标 ↓ 越好。 绿底 = 该列最优。
入桶 · 不同精度配置对比
| 配置 | 代表场 | p+b | apex p50 ↓快 |
r2r p50 ↓快 |
hf7 ↓顺 |
换向/s ↓顺 |
raw hf3 ↓顺 |
late | 体感 / 备注 |
|---|---|---|---|---|---|---|---|---|---|
| FP16 | 7eRnbJfQ | 10+10 | 215 | 260 | 0.38 | 3.4 | 0.38 | 0% | 最顺;太慢不作默认 |
| FP8 | P16UAnyP | 5+5 | 95 | 137 | 1.67 | 9.1 | 2.44 | 0% | 顺滑可用;比 ep0 慢 ~20ms r2r |
| NVFP4(e1 也量化) | cZHDUX7z | 4+4 | 63 | 106 | 4.12 | 12.6 | 4.57 | 0.1% | apex/r2r 最快;抽搐勿入桶默认 |
| fp4_ep0(AE→FP8) | EjZTBZ7j | 4+4 pa | 70 | 112 | 1.63 | 8.5 | 2.40 | 0.6% | 入桶默认:抖≈FP8,快于 FP8 |
各指标最优一览
| 指标 | 最优配置 | 数值 | 次优 / 备注 |
|---|---|---|---|
| apex p50(推理耗时) | 旧 NVFP4 4+4 | 63 ms | ep0 70 · FP8 95 · FP16 215 |
| r2r p50(端到端) | 旧 NVFP4 4+4 | 106 ms | ep0 112 · FP8 137 · FP16 260;ep0·3+3 pa 可到 80(预算紧) |
| 抖动 hf7 / 换向 | FP16 | 0.38 / 3.4 | ep0≈FP8(1.6 / 8.5)≪ 旧 NVFP4(4.1 / 12.6) |
| 综合(入桶部署) | fp4_ep0 · 4+4 pa | 70 / 112 / hf7≈1.6 | 比旧 NVFP4 慢 ~10ms,抖降 58%;比 FP8 快 ~20ms r2r |
fp4_ep0 修掉抽搐。调度默认 4+4 + phase-align(late<2%)。
要极致顺用 FP16;要极致快用旧 NVFP4(接受抽搐);要跟随用 shuttle NVFP4·3+3·pa。
上午–下午 · shuttle 混合训练
包 shuttle/fp4(ckpt dynbucket_B_shuttle89999)· 入桶 + 移动桶混合。FP16 dynbucket 仅做 norm_stats 复验(apex≈215,不作默认)。
头对头(跟随任务)
| 档 | p+b | apex | r2r | late | 体感 |
|---|---|---|---|---|---|
| NVFP4 + phase-align | 3+3 | 58–61 | 76–78 | 0.6–2.5% | 跟随最好;成功率仍不高(TEGV70aa 复测) |
| NVFP4 | 4+4 | 63 | 106 | 0.6% | 有跟随;多数只跟一次就放 |
| FP8 | 5+5 | 95–97 | 137–140 | ≈0% | 时延够但跟随/放球明显弱;复测几乎全失败 |
代表场:Prc8kpRl / TEGV70aa(FP4 3+3 pa);xTsUE7Ms(FP8「几乎全失败」)。瓶颈在任务成功率(抓放/对准),不是推理跟不上。
傍晚 · 入桶三精度抖动
任务:静态筒入桶。包 30hz_89999 / 30hz_fp8 / 30hz_fp4 同权重 step89999。调度:RTC + 逐 chunk ZP@3Hz + pchip。hf3 ↓ 越小越平滑
基线(random noise)
| run | 包 | p+b | raw hf3 | hf3/速度 | 速度 | hf7 | 换向/s | 交接跳变 | apex | late | 体感 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 7eRnbJfQ | FP16 | 10+10 | 0.38 | 20.1 | 0.019 | 0.38 | 3.4 | 1.0 | 215 | 0 | 几乎无抖 |
| P16UAnyP | FP8 | 5+5 | 2.44 | 15.6 | 0.156 | 1.67 | 9.1 | 3.0 | 95 | 0 | 明显比 FP16 抖 |
| cZHDUX7z | NVFP4 | 4+4 | 4.57 | 15.8 | 0.288 | 4.12 | 12.6 | 5.4 | 63 | ~0 | 抽搐感最强 |
- 速度驱动绝对 hf3(0.019→0.156→0.288);归一化后 hf3/速度三者接近(15–20)。
- NVFP4 额外抽搐:hf7≈hf3(4.12≈4.57)、换向 12.6/s —— 量化锯齿,不是单纯「动得快」。
- 非 late / 非伺服:late≈0;实测 hf3 < 命令 hf3。
- p+b 更密(10+10→4+4)放大交接跳变(1.0→5.4),但不是抽搐主因。
缓解 A · fixed-noise seed=42 否决
三精度统一固定扩散噪声。未减抖;NVFP4 握桶左手抖到桶被缓慢挪动。
| 包 | run | raw hf3 | vs random | 体感 |
|---|---|---|---|---|
| FP16 fn42 | o3tLTM0O | 3.15 | 运动内容不同;hf3/速度略降 | 差不多;犹豫扭动 |
| FP8 fn42 | XeqvKvnR | 2.73 | 略高于 2.44 | 更抖 |
| NVFP4 fn42 | AqWCIMIV | 4.63 | ≈4.57 | 最抖;左手挪桶 |
结论:抖动主因不是「每次重采样不一致」。不必再扫 seed。
缓解 B · 跨 chunk ZP 否决 · 有害
客户端 zero_phase_dct_cross(拼上一段尾 10 帧再 DCT)。开关已留(FP16/FP8/NVFP4 通用),默认勿开。
| run | 滤 | raw hf3 | filt hf3 | cmd hf3 | 体感 |
|---|---|---|---|---|---|
| cZHDUX7z | 逐 chunk ZP | 4.57 | 1.84 | 2.54 | 基线抽搐 |
| 1nAfh048 | cross ZP | 5.12 | 6.45 | 5.52 | 更抖;右手抓球持续抖 |
拼段 DCT 使 filt hf3 反超 raw —— 部署侧放大毛刺。请回 async_rtc_smooth_zp_30hz(逐 chunk)。
晚间 · fp4_ep0(AE 不打 NVFP4)
包 /data/project_r/pi05-apex/model/fp4_ep0 · template g2_badminton651_nvfp4_e0ffn_rtc_0054 ·
nvfp4=nvfp4_encoder_ffn(无 e1_ffn)· fp8=e4m3_both_mlp_sans_e0_ffn_vit · 同权重 step89999。
场次 t2snnoKN · tag jitter_tube_fp4_ep0_4_4 · 体感好不少。
抖动对照
| run | 包 | p+b | raw hf3 | hf7 | 换向/s | 速度 | filt hf3 | cmd hf3 | 体感 |
|---|---|---|---|---|---|---|---|---|---|
| cZHDUX7z | 30hz_fp4(e1 也 NVFP4) | 4+4 | 4.57 | 4.12 | 12.6 | 0.288 | 1.84 | 2.54 | 抽搐 |
| t2snnoKN | fp4_ep0(e0ffn) | 4+4 | 2.79 | 1.75 | 8.8 | 0.184 | 1.33 | 2.16 | 好不少 |
| P16UAnyP | 30hz_fp8 对照 | 5+5 | 2.44 | 1.67 | 9.1 | 0.156 | 1.14 | 1.40 | 比 FP16 抖 |
相对旧 NVFP4:hf3 −39%、hf7 −58%、换向 12.6→8.8;频谱接近 FP8。hf3/速度仍 ~15(同档)。
耗时 / r2r(预算 4/30s ≈ 133ms)
| 包 | p+b | apex p50 | apex p90 | r2r p50 | r2r p90 | slack p50 | late | pred |
|---|---|---|---|---|---|---|---|---|
| 30hz_fp4 | 4+4 | 63 | 66 | 106 | 114 | +22 | 0.1% | 688 |
| fp4_ep0 | 4+4 | 73 | 76 | 116 | 125 | +12 | 4.1% | 363 |
| 30hz_fp8 | 5+5 | 95 | 101 | 137 | 148 | +24 | 0% | 696 |
ep0 比旧 fp4:apex/r2r 约 +10ms,仍快于纯 FP8 ~20ms r2r。4+4 可用但 slack 变紧。续测 3+3 + phase-align(预算 100ms)看动态反应;pa 选帧有望压 r2r。
3+3 pa 动态反应 · 两场对照
| run | 档 | pred | apex p50 | r2r p50 | r2r p99 | slack | late | pa late_send | 空缓冲 | hf7 | 体感/读数 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| eI128TRz | 3+3 pa | 394 | 71 | 89 | 100 | +4.6 | 23.7% | 97% | 78 段 / 0.95s | 1.73 | 有时会卡 |
| jggA1p7X | 3+3 pa | 477 | 71 | 90 | 103 | +4.5 | 24.0% | 98% | 99 段 / 1.19s | 1.63 | 同档紧张 |
| IAZ8FEl3 | 3+3 pa 再测 | 1169 | 62 | 80 | 99 | +14.7 | 5.8% | 38% | 65 段 / 0.70s | 1.58 | apex 偶降则好转;仍有短空缓冲 |
| t2snnoKN | 4+4 无 pa | 363 | 73 | 116 | 131 | +12 | 4.1% | — | 11 段 / 0.11s | 1.75 | 顺(对照) |
三场 3+3:抖动稳定(hf7≈1.6–1.7)。时延看 apex——≈71 时 late~24%/几乎全 late_send;本场 apex≈62 则 late 降到 5.8%。 即使较好场仍比 4+4 多空缓冲。
4+4 对照(含 pa)· 已齐
| run | 档 | pred | apex | r2r | slack | late | pa late_send | 空缓冲 | hf7 |
|---|---|---|---|---|---|---|---|---|---|
| t2snnoKN | 4+4 无 pa | 363 | 73 | 116 | +12 | 4.1% | — | 11/0.11s | 1.75 |
| w69ZuToE | 4+4 无 pa | 637 | 73 | 117 | +11 | 4.2% | — | 19/0.35s | 1.66 |
| iJUWB2ma | 4+4 无 pa | 363 | 73 | 116 | +12 | 2.8% | — | 5/0.05s | 1.67 |
| Ighw4Jks | 4+4 pa | 427 | 71 | 115 | +13 | 1.6% | 45% | 7/0.07s | 1.66 |
| EjZTBZ7j | 4+4 pa | 927 | 70 | 112 | +16 | 0.6% | 31% | 8/0.08s | 1.63 |
| pugx9Dx8 | 4+4 pa | 349 | 71 | 116 | +13 | 0.3% | 45% | 4/0.04s | 1.64 |
结论:ep0 入桶默认建议 4+4 + phase-align(late 0.3–1.6%、空缓冲≈0);无 pa 的 4+4 也可(late≈3–4%)。 3+3 pa 仅在 apex 偶降到 ~62 时可用,常态 apex~70 会卡。抖动各档相当(hf7≈1.6–1.7)。
训练分析 · 30hz_full 示范轨迹
当前入桶 30Hz ckpt(step89999 / badminton-pi05-651-30hz-step89999)训在
merged/30hz_full(RDLB 遥操作 → LeRobot 30fps)。
远程:ad-cn-tcbj-engineer-ssrlab:/xiaoning.zhao/badminton/30hz_full/。
对 全部 376 ep · 1,233,336 frames 的 action[:, 8:22] 按与部署相同口径算 hf3/hf7/速度/换向。
明细:results/jitter-analysis/data_30hz_full_sample/trajectory_jitter_summary.json
数据身份
| 项 | 值 |
|---|---|
| 数据集 | merged/30hz_full · fps=30 · robot=rdlb · 24D state/action |
| 规模 | 376 episodes(train 358 / val 18)· 1,233,336 frames |
| 训练 | pi05_30hz_full_8gpu → step 89999 → Apex 包 FP16/FP8/NVFP4 同权重 |
| 臂维 | 8:15 左臂 7 关节 · 15:22 右臂 7 关节(与部署 ARM_ACT 一致) |
示范轨迹频谱(全 ep)
| 指标 | p5 | p25 | p50 | p75 | p95 | mean |
|---|---|---|---|---|---|---|
| hf3 (mrad) | 2.41 | 3.05 | 3.53 | 4.04 | 4.68 | 3.54 |
| hf7 (mrad) | 1.12 | 1.69 | 2.14 | 2.77 | 3.84 | 2.29 |
| 速度 | 0.136 | 0.165 | 0.187 | 0.209 | 0.254 | 0.189 |
| hf3/速度 | p50 ≈ 18.9 · mean ≈ 18.8(与真机三精度 15–20 同档) | — | ||||
| 换向/s | 0.28 | 0.38 | 0.47 | 0.53 | 0.62 | 0.46 |
| 左臂 hf3 | 1.25 | 1.62 | 1.94 | 2.28 | 3.06 | 2.02 |
| 右臂 hf3 | 3.06 | 4.41 | 5.13 | 5.92 | 6.90 | 5.05 |
1 秒滑动窗 hf3(抽样 ep):p50≈3.03 · p95≈8.03 —— 有局部突发,非全程匀速抖。右手/左手 hf3 ≈ 2.5×。
示范 vs 真机策略输出(同口径)
| 指标 | 示范 p50 | FP16 策略 | FP8 | NVFP4 |
|---|---|---|---|---|
| raw hf3 | 3.53 | 0.38 | 2.44 | 4.57 |
| hf7 | 2.14 | 0.38 | 1.67 | 4.12 |
| 速度 | 0.19 | 0.019 | 0.16 | 0.29 |
| hf3/速度 | ~19 | 20 | 16 | 16 |
| 换向/s | 0.47 | 3.4 | 9.1 | 12.6 |
- 示范并不「超级丝滑」:绝对 hf3 已在 FP8~NVFP4 量级;归一化 ~19 与真机同档——「动起来就有 ~3Hz 能量」很大程度数据里就有。
- NVFP4「抽搐」不像照抄示范:示范换向仅 ~0.5/s,真机 NVFP4 到 12.6/s;hf7 从 ~2.1 抬到 ~4.1。是策略/量化在发明高频来回拧。
- FP16 比示范还平滑一个数量级(0.38 vs 3.5),更像被算力/调度磨慢磨平,不是 demos 上限。
- 右手示范更毛(hf3≈5.05 vs 左 2.02),与体感「右手抓球抖」同向;但真机换向爆炸仍超出数据分布。
相对阈值:仅 ~8% ep 的 hf3 > NVFP4 真机 4.57;0% ep 换向能达到 12.6。 最毛 ep(189/336/375 等)hf3≈5–6.6,仍远不到「换向抽搐」形态。
对数据清洗 / P3 的含义
- 值得洗:右手突发窗、hf3/hf7 顶档 ep、action−state 跟踪差的段 —— 可略降示范高频上限。
- 单靠清洗解决不了 NVFP4 抽搐:换向/hf7 超额主要在量化/策略侧 → 仍优先 AE-off 混合精度包;数据清洗是辅助。
已生成:D∩G 清洗子集(原始只读)
工具 tools/make_jitter_clean_subset.py · 规则 DG ·
保留 276/376 ep(73.4%)、76.9% 帧(train 261 / val 15)·
norm_stats 按保留 train 重算(q-range floor 0.2)。
远程:ad-cn-tcbj-engineer-ssrlab:/xiaoning.zhao/badminton/30hz_full_clean_DG/
(独立完整包:meta + assets + 保留 ep 的 parquet/三路视频实体文件,非 symlink)。
# 下载 niofs copy ad-cn-tcbj-engineer-ssrlab:/xiaoning.zhao/badminton/30hz_full_clean_DG/ \ /data/badminton651/merged/30hz_full_clean_DG/ # 训练 BADMINTON651_DATASET=/data/badminton651/merged/30hz_full_clean_DG \ BADMINTON651_ASSET_ID=badminton651 \ bash train_30hz.sh
后续可用优化手段
合并上午 jitter-analysis/index.html(248 场因式)与傍晚入桶三精度/缓解 A/B。按层:保底 → 部署 → 打包 → 客户端 → 训练。
因果共识(手段要对症)
| 因素 | 证据 | 对应手段 |
|---|---|---|
| 运动速度 | 上午 ρ=0.80;傍晚速度 0.019→0.288 与绝对 hf3 同向 | 分流精度 / 接受「快=绝对抖更大」 |
| NVFP4 量化噪声 | 上午 raw×1.37 vs JAX;傍晚 hf7≈hf3、换向 12.6/s | AE/头层混合精度;入桶改 FP8 |
| 交接残余 | 上午 ZP 后交接加速度 ×2.1;傍晚跳变 1→5.4 | 加长 blend / RTC guidance;勿用拼段 DCT |
| 块内高频 | 上午 ZP 削 raw hf3 ~62% | 保留逐 chunk ZP;可试更低 cutoff |
仍可用(建议优先级)
-
P0 · 任务分流部署(零研发,立刻可做)
跟随/移动桶 → shuttle NVFP4 · 3+3 · pa。入桶要顺滑 → 同场景 FP8(或 FP16,apex≈215)。一个 NVFP4 包打天下会同时吃速度抖 + 量化抽搐。
-
P0 · NVFP4 混合精度重打包 — 已验证 fp4_ep0
nvfp4_encoder_ffn(AE/e1 不打 NVFP4)入桶 4+4:hf7 4.12→1.75,换向 12.6→8.8,体感好不少;r2r +10ms。可作为入桶默认 NVFP4 包;续测 3+3 pa 动态反应。 -
P1 · 交接混合加强(非 cross-DCT)(上午#2)
加长
adaptive_velocityblend、交接窗口速度/加速度连续约束,或加强 RTC guidance。目标:压交接加速度比(现 ~2.1–2.4)与跳变 mrad。 -
P1 · 逐 chunk ZP 调参(上午#4 已验证有效)
默认 ZP@3Hz 保留。可试
--arm-chunk-filter-cutoff-hz 2。CLI 已支持;勿开zero_phase_dct_cross。 -
P2 · 离线同观测多精度回放(上午#1,诊断向)
同批 obs × 多 seed × JAX/FP16/FP8/NVFP4,量化误差 vs 采样方差。真机 fixed-noise 已否决「部署固定噪声减抖」,但离线仍有助于定 AE-off 目标频段。
-
P2 · shuttle 成功率(策略/数据)
与抖动线独立:跟随深度、「跟一次就放」。时延不是瓶颈。
-
P3 · 训练侧
QAT、动作平滑损失、高频抑制 / 数据清洗——AE-off 仍不够时再上。
已否决 / 勿再投入
| 手段 | 结果 |
|---|---|
| fixed-noise(部署固定扩散噪声) | 三精度均未减抖;NVFP4 更糟(左手挪桶) |
| 跨 chunk 拼段 DCT(zero_phase_dct_cross) | filt hf3 1.84→6.45,有害;右手抓球持续抖 |
| 靠 late/伺服排查 | late≈0,实测<命令 —— 不是源 |
建议部署档(入桶)
# fp4_ep0 @8013 · 4+4 + phase-align cd /data/project_r/agibotg2_pi0.5_deploy taskset -c 11-13 bash scripts/run_robot_badminton651.sh \ --schedule async_rtc_smooth_zp_30hz \ --mode execute --replan-steps 4 --buffer-steps 4 \ --phase-align on \ --duration 300 --requests 2000 \ --tag tube_fp4_ep0_rtc_4_4_pa
明日 · 播放倍速试验
--execution-speed 已放宽到 (0,1.5](h7 已生效)。
协议与命令见
任务加速优化
§6:1.0→1.1→1.2→(1.3/1.5),4+4 pa;1.3+ 预算贴紧。
运维时间线
- 14:18–14:35 dynbucket FP16 复验 → 切 shuttle/fp8 → 14:48 切 shuttle/fp4(4+4 / 3+3 pa)。
- 15:11–15:20 shuttle/fp8 5+5 对比(跟随弱)。
- 15:28–15:43 入桶管抖:FP16 → FP8 → NVFP4(基线三场)。
- 15:52–16:02 fixed-noise fn42 三精度。
- 16:04+ 部署
zero_phase_dct_crossCLI;NVFP4 cross 实测有害(1nAfh048)。 - 16:50+ 生成并上传
30hz_full_clean_DG(实体视频,12.8GiB)。 - 17:38 启
fp4_ep0;17:41 入桶 4+4(t2snnoKN / w69ZuToE / iJUWB2ma)。 - 17:48–17:54 3+3 pa:eI128TRz / jggA1p7X(late~24%)→ IAZ8FEl3(apex62、late5.8%)。
- 17:58–18:03 4+4 对照:Ighw4Jks / EjZTBZ7j / pugx9Dx8(均 pa,late 0.3–1.6%)优于无 pa 4+4。
- 详页:
results/jitter-analysis/tube-30hz-compare.html
当日结论
- shuttle:部署档 = NVFP4 · 3+3 · phase-align;FP8 同任务更差。成功率另开数据/策略线。
- 入桶抖动:旧 NVFP4(e1 也量化)抽搐;fp4_ep0 后 hf7/换向接近 FP8,体感明显改善;r2r +10ms 可接受。
- 缓解否决:fixed-noise;跨 chunk DCT(有害)。
- 训练数据:示范有 ~3Hz 能量但换向远低于旧 NVFP4;清洗子集 DG 已上传。
- fp4_ep0 档位:默认 4+4 + phase-align(late<2%);无 pa 4+4 次之;3+3 pa 仅 apex 偶降可用,常态会卡。