羽毛球 · 日报 · h7 真机 execute · 详表见 results/jitter-analysis/tube-30hz-compare.html

2026-11-15 日报

四条线:① shuttle 跟随;② 入桶抖动拆因 + 缓解否决;③ 训练示范频谱;④ fp4_ep0 验证通过,档位对比 3+3 pa / 4+4 / 4+4 pa 已齐。

总览

入桶同 ckpt step89999 · 各精度代表场(最优调度档)· 指标 ↓ 越好。 绿底 = 该列最优。

入桶 · 不同精度配置对比

配置 代表场 p+b apex p50
↓快
r2r p50
↓快
hf7
↓顺
换向/s
↓顺
raw hf3
↓顺
late 体感 / 备注
FP16 7eRnbJfQ 10+10 215 260 0.38 3.4 0.38 0% 最顺;太慢不作默认
FP8 P16UAnyP 5+5 95 137 1.67 9.1 2.44 0% 顺滑可用;比 ep0 慢 ~20ms r2r
NVFP4(e1 也量化) cZHDUX7z 4+4 63 106 4.12 12.6 4.57 0.1% apex/r2r 最快;抽搐勿入桶默认
fp4_ep0(AE→FP8) EjZTBZ7j 4+4 pa 70 112 1.63 8.5 2.40 0.6% 入桶默认:抖≈FP8,快于 FP8

各指标最优一览

apex / r2r 最快
旧 NVFP4
63 / 106 ms · 但抽搐
抖动最优
FP16
hf7 0.38 · apex 215 太慢
速度×平滑折中
fp4_ep0
apex 70 · hf7≈1.6 · 4+4 pa
shuttle 跟随
NVFP4 3+3 pa
apex≈59 · r2r≈78
指标 最优配置 数值 次优 / 备注
apex p50(推理耗时) 旧 NVFP4 4+4 63 ms ep0 70 · FP8 95 · FP16 215
r2r p50(端到端) 旧 NVFP4 4+4 106 ms ep0 112 · FP8 137 · FP16 260;ep0·3+3 pa 可到 80(预算紧)
抖动 hf7 / 换向 FP16 0.38 / 3.4 ep0≈FP8(1.6 / 8.5)≪ 旧 NVFP4(4.1 / 12.6)
综合(入桶部署) fp4_ep0 · 4+4 pa 70 / 112 / hf7≈1.6 比旧 NVFP4 慢 ~10ms,抖降 58%;比 FP8 快 ~20ms r2r
一句话:入桶抖因是 AE/e1 打 NVFP4;fp4_ep0 修掉抽搐。调度默认 4+4 + phase-align(late<2%)。 要极致顺用 FP16;要极致快用旧 NVFP4(接受抽搐);要跟随用 shuttle NVFP4·3+3·pa。

上午–下午 · shuttle 混合训练

包 shuttle/fp4(ckpt dynbucket_B_shuttle89999)· 入桶 + 移动桶混合。FP16 dynbucket 仅做 norm_stats 复验(apex≈215,不作默认)。

头对头(跟随任务)

档p+bapexr2rlate体感
NVFP4 + phase-align3+358–6176–780.6–2.5%跟随最好;成功率仍不高(TEGV70aa 复测)
NVFP44+4631060.6%有跟随;多数只跟一次就放
FP85+595–97137–140≈0%时延够但跟随/放球明显弱;复测几乎全失败

代表场:Prc8kpRl / TEGV70aa(FP4 3+3 pa);xTsUE7Ms(FP8「几乎全失败」)。瓶颈在任务成功率(抓放/对准),不是推理跟不上。

傍晚 · 入桶三精度抖动

任务:静态筒入桶。包 30hz_89999 / 30hz_fp8 / 30hz_fp4 同权重 step89999。调度:RTC + 逐 chunk ZP@3Hz + pchip。hf3 ↓ 越小越平滑

基线(random noise)

run包p+b raw hf3hf3/速度速度hf7换向/s交接跳变 apexlate体感
7eRnbJfQFP1610+10 0.3820.10.0190.383.41.0 2150几乎无抖
P16UAnyPFP85+5 2.4415.60.1561.679.13.0 950明显比 FP16 抖
cZHDUX7zNVFP44+4 4.5715.80.2884.1212.65.4 63~0抽搐感最强
  1. 速度驱动绝对 hf3(0.019→0.156→0.288);归一化后 hf3/速度三者接近(15–20)。
  2. NVFP4 额外抽搐:hf7≈hf3(4.12≈4.57)、换向 12.6/s —— 量化锯齿,不是单纯「动得快」。
  3. 非 late / 非伺服:late≈0;实测 hf3 < 命令 hf3。
  4. p+b 更密(10+10→4+4)放大交接跳变(1.0→5.4),但不是抽搐主因。

缓解 A · fixed-noise seed=42 否决

三精度统一固定扩散噪声。未减抖;NVFP4 握桶左手抖到桶被缓慢挪动。

包runraw hf3vs random体感
FP16 fn42o3tLTM0O3.15运动内容不同;hf3/速度略降差不多;犹豫扭动
FP8 fn42XeqvKvnR2.73略高于 2.44更抖
NVFP4 fn42AqWCIMIV4.63≈4.57最抖;左手挪桶

结论:抖动主因不是「每次重采样不一致」。不必再扫 seed。

缓解 B · 跨 chunk ZP 否决 · 有害

客户端 zero_phase_dct_cross(拼上一段尾 10 帧再 DCT)。开关已留(FP16/FP8/NVFP4 通用),默认勿开。

run滤raw hf3filt hf3cmd hf3体感
cZHDUX7z逐 chunk ZP4.571.842.54基线抽搐
1nAfh048cross ZP5.126.455.52更抖;右手抓球持续抖

拼段 DCT 使 filt hf3 反超 raw —— 部署侧放大毛刺。请回 async_rtc_smooth_zp_30hz(逐 chunk)。

晚间 · fp4_ep0(AE 不打 NVFP4)

包 /data/project_r/pi05-apex/model/fp4_ep0 · template g2_badminton651_nvfp4_e0ffn_rtc_0054 · nvfp4=nvfp4_encoder_ffn(无 e1_ffn)· fp8=e4m3_both_mlp_sans_e0_ffn_vit · 同权重 step89999。 场次 t2snnoKN · tag jitter_tube_fp4_ep0_4_4 · 体感好不少。

抖动对照

run包p+b raw hf3hf7换向/s速度filt hf3cmd hf3 体感
cZHDUX7z30hz_fp4(e1 也 NVFP4)4+4 4.574.1212.60.2881.842.54 抽搐
t2snnoKNfp4_ep0(e0ffn)4+4 2.791.758.80.1841.332.16 好不少
P16UAnyP30hz_fp8 对照5+5 2.441.679.10.1561.141.40 比 FP16 抖

相对旧 NVFP4:hf3 −39%、hf7 −58%、换向 12.6→8.8;频谱接近 FP8。hf3/速度仍 ~15(同档)。

耗时 / r2r(预算 4/30s ≈ 133ms)

包p+b apex p50apex p90 r2r p50r2r p90slack p50latepred
30hz_fp44+4 6366 106114 +220.1%688
fp4_ep04+4 7376 116125 +124.1%363
30hz_fp85+5 95101 137148 +240%696

ep0 比旧 fp4:apex/r2r 约 +10ms,仍快于纯 FP8 ~20ms r2r。4+4 可用但 slack 变紧。续测 3+3 + phase-align(预算 100ms)看动态反应;pa 选帧有望压 r2r。

3+3 pa 动态反应 · 两场对照

run档pred apex p50r2r p50r2r p99 slacklate pa late_send空缓冲 hf7体感/读数
eI128TRz3+3 pa394 7189100 +4.623.7% 97%78 段 / 0.95s 1.73有时会卡
jggA1p7X3+3 pa477 7190103 +4.524.0% 98%99 段 / 1.19s 1.63同档紧张
IAZ8FEl33+3 pa 再测1169 628099 +14.75.8% 38%65 段 / 0.70s 1.58apex 偶降则好转;仍有短空缓冲
t2snnoKN4+4 无 pa363 73116131 +124.1% —11 段 / 0.11s 1.75顺(对照)

三场 3+3:抖动稳定(hf7≈1.6–1.7)。时延看 apex——≈71 时 late~24%/几乎全 late_send;本场 apex≈62 则 late 降到 5.8%。 即使较好场仍比 4+4 多空缓冲。

4+4 对照(含 pa)· 已齐

run档pred apexr2rslacklate pa late_send空缓冲hf7
t2snnoKN4+4 无 pa363 73116+124.1% —11/0.11s1.75
w69ZuToE4+4 无 pa637 73117+114.2% —19/0.35s1.66
iJUWB2ma4+4 无 pa363 73116+122.8% —5/0.05s1.67
Ighw4Jks4+4 pa427 71115+131.6% 45%7/0.07s1.66
EjZTBZ7j4+4 pa927 70112+160.6% 31%8/0.08s1.63
pugx9Dx84+4 pa349 71116+130.3% 45%4/0.04s1.64

结论:ep0 入桶默认建议 4+4 + phase-align(late 0.3–1.6%、空缓冲≈0);无 pa 的 4+4 也可(late≈3–4%)。 3+3 pa 仅在 apex 偶降到 ~62 时可用,常态 apex~70 会卡。抖动各档相当(hf7≈1.6–1.7)。

训练分析 · 30hz_full 示范轨迹

当前入桶 30Hz ckpt(step89999 / badminton-pi05-651-30hz-step89999)训在 merged/30hz_full(RDLB 遥操作 → LeRobot 30fps)。 远程:ad-cn-tcbj-engineer-ssrlab:/xiaoning.zhao/badminton/30hz_full/。 对 全部 376 ep · 1,233,336 frames 的 action[:, 8:22] 按与部署相同口径算 hf3/hf7/速度/换向。 明细:results/jitter-analysis/data_30hz_full_sample/trajectory_jitter_summary.json

数据身份

项值
数据集merged/30hz_full · fps=30 · robot=rdlb · 24D state/action
规模376 episodes(train 358 / val 18)· 1,233,336 frames
训练pi05_30hz_full_8gpu → step 89999 → Apex 包 FP16/FP8/NVFP4 同权重
臂维8:15 左臂 7 关节 · 15:22 右臂 7 关节(与部署 ARM_ACT 一致)

示范轨迹频谱(全 ep)

指标p5p25p50p75p95mean
hf3 (mrad)2.413.053.534.044.683.54
hf7 (mrad)1.121.692.142.773.842.29
速度0.1360.1650.1870.2090.2540.189
hf3/速度p50 ≈ 18.9 · mean ≈ 18.8(与真机三精度 15–20 同档)—
换向/s0.280.380.470.530.620.46
左臂 hf31.251.621.942.283.062.02
右臂 hf33.064.415.135.926.905.05

1 秒滑动窗 hf3(抽样 ep):p50≈3.03 · p95≈8.03 —— 有局部突发,非全程匀速抖。右手/左手 hf3 ≈ 2.5×。

示范 vs 真机策略输出(同口径)

指标示范 p50FP16 策略FP8NVFP4
raw hf33.530.382.444.57
hf72.140.381.674.12
速度0.190.0190.160.29
hf3/速度~19201616
换向/s0.473.49.112.6
  1. 示范并不「超级丝滑」:绝对 hf3 已在 FP8~NVFP4 量级;归一化 ~19 与真机同档——「动起来就有 ~3Hz 能量」很大程度数据里就有。
  2. NVFP4「抽搐」不像照抄示范:示范换向仅 ~0.5/s,真机 NVFP4 到 12.6/s;hf7 从 ~2.1 抬到 ~4.1。是策略/量化在发明高频来回拧。
  3. FP16 比示范还平滑一个数量级(0.38 vs 3.5),更像被算力/调度磨慢磨平,不是 demos 上限。
  4. 右手示范更毛(hf3≈5.05 vs 左 2.02),与体感「右手抓球抖」同向;但真机换向爆炸仍超出数据分布。

相对阈值:仅 ~8% ep 的 hf3 > NVFP4 真机 4.57;0% ep 换向能达到 12.6。 最毛 ep(189/336/375 等)hf3≈5–6.6,仍远不到「换向抽搐」形态。

对数据清洗 / P3 的含义

  • 值得洗:右手突发窗、hf3/hf7 顶档 ep、action−state 跟踪差的段 —— 可略降示范高频上限。
  • 单靠清洗解决不了 NVFP4 抽搐:换向/hf7 超额主要在量化/策略侧 → 仍优先 AE-off 混合精度包;数据清洗是辅助。

已生成:D∩G 清洗子集(原始只读)

工具 tools/make_jitter_clean_subset.py · 规则 DG · 保留 276/376 ep(73.4%)、76.9% 帧(train 261 / val 15)· norm_stats 按保留 train 重算(q-range floor 0.2)。 远程:ad-cn-tcbj-engineer-ssrlab:/xiaoning.zhao/badminton/30hz_full_clean_DG/ (独立完整包:meta + assets + 保留 ep 的 parquet/三路视频实体文件,非 symlink)。

# 下载
niofs copy ad-cn-tcbj-engineer-ssrlab:/xiaoning.zhao/badminton/30hz_full_clean_DG/ \
  /data/badminton651/merged/30hz_full_clean_DG/

# 训练
BADMINTON651_DATASET=/data/badminton651/merged/30hz_full_clean_DG \
BADMINTON651_ASSET_ID=badminton651 \
bash train_30hz.sh

后续可用优化手段

合并上午 jitter-analysis/index.html(248 场因式)与傍晚入桶三精度/缓解 A/B。按层:保底 → 部署 → 打包 → 客户端 → 训练。

因果共识(手段要对症)

因素证据对应手段
运动速度上午 ρ=0.80;傍晚速度 0.019→0.288 与绝对 hf3 同向分流精度 / 接受「快=绝对抖更大」
NVFP4 量化噪声上午 raw×1.37 vs JAX;傍晚 hf7≈hf3、换向 12.6/sAE/头层混合精度;入桶改 FP8
交接残余上午 ZP 后交接加速度 ×2.1;傍晚跳变 1→5.4加长 blend / RTC guidance;勿用拼段 DCT
块内高频上午 ZP 削 raw hf3 ~62%保留逐 chunk ZP;可试更低 cutoff

仍可用(建议优先级)

  1. P0 · 任务分流部署(零研发,立刻可做)
    跟随/移动桶 → shuttle NVFP4 · 3+3 · pa。入桶要顺滑 → 同场景 FP8(或 FP16,apex≈215)。一个 NVFP4 包打天下会同时吃速度抖 + 量化抽搐。
  2. P0 · NVFP4 混合精度重打包 — 已验证 fp4_ep0
    nvfp4_encoder_ffn(AE/e1 不打 NVFP4)入桶 4+4:hf7 4.12→1.75,换向 12.6→8.8,体感好不少;r2r +10ms。可作为入桶默认 NVFP4 包;续测 3+3 pa 动态反应。
  3. P1 · 交接混合加强(非 cross-DCT)(上午#2)
    加长 adaptive_velocity blend、交接窗口速度/加速度连续约束,或加强 RTC guidance。目标:压交接加速度比(现 ~2.1–2.4)与跳变 mrad。
  4. P1 · 逐 chunk ZP 调参(上午#4 已验证有效)
    默认 ZP@3Hz 保留。可试 --arm-chunk-filter-cutoff-hz 2。CLI 已支持;勿开 zero_phase_dct_cross。
  5. P2 · 离线同观测多精度回放(上午#1,诊断向)
    同批 obs × 多 seed × JAX/FP16/FP8/NVFP4,量化误差 vs 采样方差。真机 fixed-noise 已否决「部署固定噪声减抖」,但离线仍有助于定 AE-off 目标频段。
  6. P2 · shuttle 成功率(策略/数据)
    与抖动线独立:跟随深度、「跟一次就放」。时延不是瓶颈。
  7. P3 · 训练侧
    QAT、动作平滑损失、高频抑制 / 数据清洗——AE-off 仍不够时再上。

已否决 / 勿再投入

手段结果
fixed-noise(部署固定扩散噪声)三精度均未减抖;NVFP4 更糟(左手挪桶)
跨 chunk 拼段 DCT(zero_phase_dct_cross)filt hf3 1.84→6.45,有害;右手抓球持续抖
靠 late/伺服排查late≈0,实测<命令 —— 不是源

建议部署档(入桶)

# fp4_ep0 @8013 · 4+4 + phase-align
cd /data/project_r/agibotg2_pi0.5_deploy
taskset -c 11-13 bash scripts/run_robot_badminton651.sh \
  --schedule async_rtc_smooth_zp_30hz \
  --mode execute --replan-steps 4 --buffer-steps 4 \
  --phase-align on \
  --duration 300 --requests 2000 \
  --tag tube_fp4_ep0_rtc_4_4_pa

明日 · 播放倍速试验

--execution-speed 已放宽到 (0,1.5](h7 已生效)。 协议与命令见 任务加速优化 §6:1.0→1.1→1.2→(1.3/1.5),4+4 pa;1.3+ 预算贴紧。

运维时间线

  • 14:18–14:35 dynbucket FP16 复验 → 切 shuttle/fp8 → 14:48 切 shuttle/fp4(4+4 / 3+3 pa)。
  • 15:11–15:20 shuttle/fp8 5+5 对比(跟随弱)。
  • 15:28–15:43 入桶管抖:FP16 → FP8 → NVFP4(基线三场)。
  • 15:52–16:02 fixed-noise fn42 三精度。
  • 16:04+ 部署 zero_phase_dct_cross CLI;NVFP4 cross 实测有害(1nAfh048)。
  • 16:50+ 生成并上传 30hz_full_clean_DG(实体视频,12.8GiB)。
  • 17:38 启 fp4_ep0;17:41 入桶 4+4(t2snnoKN / w69ZuToE / iJUWB2ma)。
  • 17:48–17:54 3+3 pa:eI128TRz / jggA1p7X(late~24%)→ IAZ8FEl3(apex62、late5.8%)。
  • 17:58–18:03 4+4 对照:Ighw4Jks / EjZTBZ7j / pugx9Dx8(均 pa,late 0.3–1.6%)优于无 pa 4+4。
  • 详页:results/jitter-analysis/tube-30hz-compare.html

当日结论

  • shuttle:部署档 = NVFP4 · 3+3 · phase-align;FP8 同任务更差。成功率另开数据/策略线。
  • 入桶抖动:旧 NVFP4(e1 也量化)抽搐;fp4_ep0 后 hf7/换向接近 FP8,体感明显改善;r2r +10ms 可接受。
  • 缓解否决:fixed-noise;跨 chunk DCT(有害)。
  • 训练数据:示范有 ~3Hz 能量但换向远低于旧 NVFP4;清洗子集 DG 已上传。
  • fp4_ep0 档位:默认 4+4 + phase-align(late<2%);无 pa 4+4 次之;3+3 pa 仅 apex 偶降可用,常态会卡。