名词介绍
overlap_gap(规划重叠差)
新旧两个动作块在「即将交接的那段时间」上,规划是否一致。
公式:overlap_gap = max | new[0:d] − old[s : s+d] |(弧度)。其中 s 是观测时刻在旧块里走到第几帧,d 是观测到交接还剩几帧(约等于 buffer)。
plain / RTC 都记。 它衡量的是「模型两次推理在重叠时段想去的地方差多少」,不受交接时 skip / blend / 裁剪影响。RTC 的作用就是压低这个值:plain 常见 p50 ≈ 0.15–0.18,RTC 常见 ≈ 0.01。
jump / handoff jump(交接跳变)
真正切到新块那一拍,发给机器人的命令相对上一拍命令跳了多少。
取自 previous_command_difference.difference_rad:交接瞬间「新目标 − 旧命令」的最大关节差(弧度)。
它受 skip、blend、限位裁剪影响,是实际执行侧的颠簸;overlap 大时 jump 通常也大,但 overlap 小不保证 jump 一定小(比如裁剪、插值方式不同)。报告里 RTC 把 jump p50 从约 0.03–0.05 压到约 0.005。
二者关系(怎么读)
overlap = 规划一致性(RTC 是否把新旧块对齐);jump = 交接瞬间机器人实际感到的跳变。
评价 RTC:先看 overlap 是否数量级下降,再看 jump 是否跟着下降、成功率/重试是否改善。只看 jump 会被 blend 掩盖真实规划差。
其它常用词
p+b(如 5+5):replan 帧数 + buffer 帧数。约每 p/15 秒重规划一次,交接前留 b/15 秒等新推理。
RTC 生效率:被接受的块里带了 RTC 引导的比例(首包无旧块,不算生效)。
纯模型推理:apex_infer_ms(JAX 用 policy_infer_ms)。
请求就绪:client_rt / infer_call_ms=已备好观测后调用 infer() 到拿到结果(含 prep + apex + 本机网络)。
观测→就绪:从相机时间戳算起,比请求就绪多约 30 ms 帧龄;不要和 JAX/FP8 的 client_rt 混比。
时长:整次 run 的 control_trace 首末单调时钟差(含收尾),不是「捡完 3 个球」的净任务时间。
总览对比
一行一类测试(含第五章短重规划:4+4 / 3+3 / 3+2 / 3+3_perturb)。成功率 / handoff_slack 越高越好;overlap / jump / Apex / 时长越低越好。并列最优会同时标绿。slack = handoff_slack_ms p50(交接前余量)。短重规划场次少、时长多为 Ctrl+C 中止,时长列可空。
组间汇总
每次运行
耗时与交接
20+5:plain vs RTC
20+5 每次运行
RTC 5+5(尚无 plain 5+5 对照)
NVFP4 三类并排(均值)
NVFP4 全部明细
NVFP4 耗时
三、其它方向总结
policy_fps 15 → 30(结论:不建议,未实测)
结论:当前代码里 policy_fps 是“动作帧播放时钟”,不是控制下发频率。改成 30 并不会“更频繁地下发控制”,而是把 15 Hz 训练出的动作块 2 倍速快放。
依据:execution_fps = policy_fps × execution_speed,第 k 帧安排在 origin + k / execution_fps;实际下发由 servo_hz = 100 插值完成;execution_speed 被限制在 (0, 1],即代码本意只允许放慢、不允许加速。
| 项目 | policy_fps 15(现状) | policy_fps 30 |
|---|---|---|
| 实际下发频率 | 100 Hz | 100 Hz(不变) |
| 一块 30 帧覆盖时长 | 2.0 s | 1.0 s |
| 同一条轨迹的速度 / 加速度 | 1× / 1× | ≈2× / ≈4× |
| 每帧间 100 Hz 插值点 | ≈6.7 | ≈3.3 |
| 5+5 的墙钟时间(重规划 / 缓冲) | 333 ms / 333 ms | 167 ms / 167 ms |
| 推理延迟(≈130–170 ms)折合帧数 | 2–3 帧 | 4–5 帧 |
| RTC d(handoff−观测) | ≈5 | ≈10,d ≤ s ≤ 30−d 更难满足 |
可能的问题
| 风险 | 说明 |
|---|---|
| 训练/部署分布不一致 | 模型按 15 Hz 学“下一帧去哪”。2 倍速执行后,下一次观测到的运动状态、物体相对位置、运动模糊都偏离训练分布,闭环误差会累积。预计抓取重试增多、夹爪开合时机错位。 |
| 动力学与安全 | 速度约 2 倍、加速度约 4 倍。跟踪误差变大,更容易触发限位裁剪和跟踪告警;碰桶、碰球、碰桌冲击更大。 |
| 时序余量不足 | 5+5 下每 167 ms 就要推理一次,接近端到端延迟。推理会首尾相接、零余量,易出现迟到块和缓冲空等。20+5 时缓冲只剩 167 ms。 |
| RTC 回退增多 | s、d 按 policy_fps 换算,帧数都翻倍。约束 d ≤ s ≤ 30−d 更难满足,引导段在时间上的含义也随之改变。 |
| 与现有实验不可比 | 同为“5+5”,墙钟时间减半。要对齐重规划的实际时间,30 Hz 下需用 10+10。 |
更合适的“提高动态反应”方向
| 方向 | 说明 |
|---|---|
| 缩短重规划周期 | 20+5 → 5+5 已验证有效(NVFP4 RTC 5+5 9/9)。可继续试 4+4、5+3,但需满足时序约束。 |
| 降低推理延迟 | NVFP4 Apex 约 70 ms;服务端预处理约 20–25 ms 仍可优化。 |
| RTC 保证交接一致 | overlap p50 从约 0.16–0.18 降到约 0.01,交接跳变降一个数量级。 |
| 轨迹更细 | 靠 100 Hz 插值(如 pchip)即可,无需压缩帧间隔。 |
| 真正 30 Hz 语义 | 需用 30 Hz 数据重新训练或微调。 |
若仍要实测(快放实验)
- 新建配置
h6_89999_async_rtc_30hz.json,只改policy_fps: 30。 - 先 dry-run,确认无迟到块、无缓冲空等、RTC 不回退。
- execute 用 10+10(墙钟时间约等于 15 Hz 下的 5+5),先只跑 RTC 一组,tag 例如
nvfp4_rtc_30hz_10+10,全程手放急停。 - 观测:成功率、跟踪误差、速度 / jerk、限位裁剪次数、迟到块与缓冲空等、overlap / jump。
四、推理优化汇总(相对 JAX)
两列口径分开:左边只比模型算子;右边只比「观测已备好后发请求到结果返回」。不要把观测→就绪和 client_rt 混在一行。
耗时口径对照
纯模型推理 = apex_infer_ms(JAX 无拆分,记 policy_infer_ms)。
请求就绪 = A/B 的 client_rt_ms ≈ 真机 infer_call_ms(含服务端 prep + apex + 本机网络)。
JAX / FP16 / FP8 来自同份 live.npz、绑核 0–13、drop5 n=15 的 A/B;NVFP4 为方案 A 后 dry-run p50。观测→就绪另计,见下表备注。
| 后端 | 纯模型推理 p50 | 相对 JAX | 请求就绪 p50 | 相对 JAX | 备注 |
|---|---|---|---|---|---|
| JAX bf16 | 414 ms | 1.0× | 416 ms | 1.0× | policy 未拆 prep |
| ApexInfer FP16 | 246 ms | 1.7× | 273 ms | 1.5× | prep ≈ 25 ms |
| ApexInfer FP8 | 109 ms | 3.8× | 136 ms | 3.1× | prep ≈ 25 ms |
| ApexInfer NVFP4(方案 A 后) | 72 ms | 5.8× | 92 ms | 4.5× | prep ≈ 16 ms;观测→就绪 ≈ 129 ms(含帧龄 ~31 ms,勿与上列混比) |
优化项与收益
| 优化项 | 主要作用口径 | 耗时变化(约) | 说明 | 状态 |
|---|---|---|---|---|
| JAX → ApexInfer FP16 | 纯推理 / 请求就绪 | 414→246 / 416→273 | UniRT + ApexInfer 替换 openpi JAX | 已完成 |
| FP16 → FP8 量化包 | 纯推理 / 请求就绪 | 246→109 / 273→136 | apex −137 ms;prep 仍约 25 ms | 已完成 |
| FP8 → NVFP4 量化包 | 纯推理 / 请求就绪 | 109→72 / 136→92 | apex 再 −37 ms | 已完成 |
| JPEG 三路线程池并行解码 | 请求就绪(prep) | 墙钟≈最慢一路 | 相对三路串行解码 | 已完成 |
| 方案 A:每路 decode+letterbox 同线程并行 | 请求就绪(prep) | prep 20.9→16.3(−4.6 ms) | 输出与串行路径逐像素一致 | 刚上线 |
| 绑核 0–13(避免 3 核 cgroup) | 请求就绪(prep) | 避免 prep 涨到 ~140 ms | 运维项;测速/服务需落到 0–13 | 运维 |
| RTC(8013) | 交接质量(非时延) | apex 几乎不增 | overlap 0.16→0.01;jump 0.03→0.005;使短重规划可用 | 已完成 |
| 重规划 20+5 → 5+5(依赖 RTC) | 动态反应周期 | ~1000 ms → ~500 ms | NVFP4 RTC 5+5 进桶 9/9;时延本身不因此下降 | 已完成 |
| 方案 B:大图降采样解码 | 请求就绪(prep) | 离线估 prep → ~10 ms | 腕部 1280 图;像素微差,需精度门 | 待做 |
| 客户端预解码 rgb224 | 请求就绪 | 关键路径再去 ~10–16 ms prep | 后台 CPU,注意不与伺服抢核 | 待做 |
合计(相对 JAX):纯推理约 5.8×(414→72);请求就绪约 4.5×(416→92)。RTC + 5+5 主要提升交接平滑与反应周期,不计入上列倍数。
五、短重规划与扰动(NVFP4 RTC)
在已有 5+5 / 20+5 之外,继续压 p+b,并做挪球扰动。口径:进桶为任务成功;slack/空等衡量是否跟得上;overlap/jump 衡量交接平滑。
服务:8013 NVFP4 RTC。静态场:4+4、3+3、3+2 各 1 场有效 execute;扰动:3+3_perturb 两场(每球多次挪动)。已排除一次极短中断的 3+2。
静态:4+4 / 3+3 / 3+2
每次运行
3+3 挪球扰动
读法:
- 4+4:任务满分,slack 健康(p50≈99 ms,无迟到)→ 可作短重规划主力。
- 3+3:任务满分,但开始贴边(迟到 6、空等 8)→ 上限边缘。
- 3+2:任务仍满分,但 88% 块迟到、空等 601 → 调度已透支,不建议常态。
- 3+3_perturb:高频挪球下仍能跟;一场 2/2,一场 1/2 卡住(Ctrl+C 停,非 duration 超时)。跟随体感一般;时序仍偶发迟到。
3+3 零迟到:预算拆解与优化顺序
口径:迟到 = handoff_slack_ms < 0;墙钟预算 = b / policy_fps。数据来自 robot-live-dwDsP0UF(NVFP4 RTC 3+3,164 块)。
结论:3+3 不是均值不够,而是尾部贴边。预算 200 ms;request_to_ready p50=175(对应 slack≈20)、p99≈202(刚好越线)。6 次迟到的块平均 r2r=198、r2o=92、infer=106;OK 块平均 r2r=169、r2o=72。再挤出 ≈25 ms 尾部即可把 p99 压到 ~175、目标 slack_min>0。
RTC 侧多数块已是 d=2(163 里 122 次):请求后等新帧把 buffer 吃掉约 1 个 policy 帧,有效引导窗变薄,但交接仍按 p+b 墙钟截止。
| 量 | 3+3 | 4+4 | 含义 |
|---|---|---|---|
| request→handoff 预算 | 200 ms | 267 ms | b 帧 × (1000/15) |
| request_to_ready p50 / p99 | 175 / 202 | 163 / 202 | 决定是否迟到的墙钟路径 |
| request_to_observation p50 | 77 ms | 67 ms | 等五路源(3 相机+joint+gripper)在请求后更新 |
| infer_call p50(prep+apex+net) | 97 ms | 96 ms | apex≈73,prep≈20 |
| slack p50 / min · 迟到 | 19.6 / −19.4 · 6 | 98.6 / 57.6 · 0 | 4+4 多 67 ms 预算盖住同量级尾部 |
| 优先级 | 手段 | 估节能 | 说明 | 状态 |
|---|---|---|---|---|
| 1 | 缩短 request→observation(主因) | −15~30 ms | require_new_observation=true 在请求武装后等五路源都更新(3 路相机 + joint_state + gripper_state,不是 5 个相机);unchanged 轮询 745 次/场。可做:capture lead(在 prefix 前提前拉流但不改 handoff)、或放宽“请求后新帧”为“年龄<阈值的最新帧”。这是零迟到的最大杠杆。 |
待做 |
| 2 | 方案 B:腕部大图降采样解码 | prep −5~10 ms | 离线估 prep→~10 ms;与方案 A 叠加,压 p95 prep/infer 尾部。 | 待做 |
| 3 | 客户端预解码 rgb224 | 关键路径再 −10~16 ms | 后台 CPU 出 224;注意勿与伺服抢核(当前 client cpus 11–13)。 | 待做 |
| — | 改成 3+4 / 只加 b | 预算 +67 ms | 不推荐作 RTC 主路径:需 d≤s≈b≤p,3+4 易 RTC 回退。4+3 不增加 b 预算,解决不了迟到。 |
否决 |
| — | 继续压 Apex | 个位数 ms | NVFP4 apex p50≈73 已较满;性价比低于 capture/prep。 | 低优 |
建议落地顺序:先做 capture lead / 新鲜度策略(目标 r2o p50 77→≤50),再上方案 B;两者合计约 −25 ms 即可覆盖当前迟到尾。验收:同条件 3+3 execute,late_n=0 且 slack_min≥20;扰动场再复测。
六、policy_fps 30 快放(FP16 plain,单章)
本章只记录「把播放时钟从 15 改成 30」的实测,不与前文 FP8/NVFP4、RTC、短重规划数据对照。口径:成功=球进桶;空放/掉桶/卡住另记。
设置与跑次
唯一变量:policy_fps: 15 → 30(配置 h6_89999_async_30hz.json)。精度 FP16 plain @8012;无 RTC;async_buffer + handoff_target;p+b=20+10(缓冲墙钟≈333 ms,与 15Hz 的 b=5 同量级;整块最多 30 帧,不能 40+10)。
语义提醒:改的是动作帧播放时钟,不是下发频率。伺服仍是 100 Hz;30 帧块从 2.0 s 压成 1.0 s → 同一条轨迹约 2× 速 / 4× 加速度。
| 运行 | 模式 | tag | 进桶 | 操作员记录 |
|---|---|---|---|---|
| robot-live-y4za09Mw 等 | shadow | fp16_plain_30hz_20+10 | — | 默认 shadow、requests=20,仅通路冒烟;不计入任务结论。 |
| robot-live-a5T3Uen7 | execute | fp16_plain_30hz_20+10_dry | 有进桶* | 体感幅度变大;重试明显增多;每球约 2–4 次才成功。Ctrl+C 停。 |
| robot-live-mvofBJzZ | execute | fp16_plain_30hz_20+10_dry | 0 | 全程未抓成功;桶掉了;持续空放。Ctrl+C 停。 |
*第 1 场进桶次数未精确点球;outcome 仅保留操作员描述。
时序与跟踪(两场 execute)
| 指标 | a5T3Uen7 | mvofBJzZ | 读法 |
|---|---|---|---|
| 推理块数 | 68 | 121 | accepted |
| request_to_ready p50 ms | 329 | 328 | 相对缓冲预算 ≈333 ms,几乎贴边 |
| apex p50 ms | 246 | 247 | FP16 纯推理 |
| handoff_slack p50 / late | −0.5 / 35÷67 | 2.3 / 56÷120 | 约半数块迟到 |
| buffer_empty 拍 | 85 | 124 | 缓冲用尽空等 |
| tracking_warning 占比 | ≈93% | ≈72% | 目标跑太快,实测跟不上 |
| 臂跟踪误差 p95 rad | ≈0.14 | ≈0.09 | 命令 vs 实测 |
| overlap_gap p50 | ≈0.5 | ≈0.5 | 无 RTC 硬切,交接跳变大 |
本章结论
- 任务侧:快放后动作更猛、抓取/放桶时机偏移;一场靠多次重试勉强进桶,一场零成功并掉桶+空放。
- 时序侧:在 20+10 下缓冲预算刚够盖住 FP16 均值延迟,但尾部大量迟到与空等;不是「下发变密」,而是播放变快导致周期变紧。
- 机制:15 Hz 训练分布被 2× 快放破坏;跟踪告警长期触发,与重试/空放/掉桶一致。
- 处置:30 Hz 快放实验收工,不作为部署优化手段。后续动态反应仍走降延迟 + 短重规划(15 Hz 播放时钟)方向。
七、FP8 · 4+4(plain vs RTC)
本章汇总本轮三场 execute:FP8 @8012 plain 一场、@8013 RTC 两场;p+b 均为 4+4,policy_fps=15。只在本章内对照 plain/RTC,不改写前文其它精度章节。
服务:unirt-fp8;plain 无 RTC / RTC 启用 leftover。缓冲墙钟 4/15≈267 ms;实测 r2r p50≈197–202 ms,三场 late 均为 0。
三次跑次
| 运行 | RTC | 进桶 | late | empty | slack p50/min | overlap p50 | apex p50 | r2r p50 | 备注 |
|---|---|---|---|---|---|---|---|---|---|
| plain ES3MTVli | plain | 2/2 | 0 | 1 | 61.6 / 5.4 | 0.096 | 109 | 197 | 无空放;1球1次、2球3次;最后无卡住 |
| RTC 2bqu1K89 | RTC | 3/3 | 0 | 3 | 58.5 / 24.1 | 0.006 | 112 | 202 | 均1次成功;无空放;无卡住 |
| RTC rXbWLlb2 | RTC | 3/3 | 0 | 2 | 59.9 / 26.7 | 0.007 | 113 | 202 | 3球全部一次成功;无空放;无卡住 |
组内汇总
| 组 | 场次 | 进桶 | 满分场 | late 合计 | empty 合计 | slack p50 均 | slack min 均 | overlap p50 均 | apex p50 均 |
|---|---|---|---|---|---|---|---|---|---|
| plain FP8 4+4 | 1 | 2/2 | 1/1 | 0 | 1 | 61.6 | 5.4 | 0.096 | 109 |
| RTC FP8 4+4 | 2 | 6/6 | 2/2 | 0 | 5 | 59.2 | 25.4 | 0.007 | 112 |
读数(仅本章):
- 三场时序均健康(late=0);4+4 缓冲对 FP8(apex≈110、r2r≈200)有余量。
- RTC 两场均为 3/3 一次成功;plain 一场 2/2 但有重试(2 球花了 3 次)。
- RTC 的 overlap p50 约 0.007,相对 plain ≈0.10 低一个数量级;slack 最差情况也更好(min≈25 vs ≈5)。
FP8 RTC · 3+3(两场有效)
缓冲预算 3/15≈200 ms;FP8 r2r p50≈205–207 ms,时序系统性贴边/透支。任务仍可满分,但不建议作常态。
| 运行 | 进桶 | late | empty拍 | slack p50/min | overlap p50 | apex p50 | r2r p50 | 备注 |
|---|---|---|---|---|---|---|---|---|
| RTC YeIpSXT5 | 3/3 | 192/237 | 364 | −12.5 / −42.8 | 0.006 | 111 | 207 | 均1次成功;有一次空放;无卡住 |
| RTC fQpOBE6W | 3/3 | 254/324 | 453 | −10.5 / -57.7 | 0.006 | 111 | 205 | 3球全部一次成功;无空放;无卡住 |
组内:进桶 6/6、满分场 2/2;late 合计偏高、empty 拍数百。相对同精 4+4(late=0、empty≤3),3+3 对 FP8 已不够用。中间另有未补录体感的中断场(WC4oziNX / E3hOZMCy),未计入上表。
八、问题和优化汇总
把执行侧仍在跟进的问题与优化项单独成章,和前面的精度/RTC/短重规划实验区分开。每条按「问题描述 → 分析过程 → 解决方案」记录;分组按实际 rtc / 插值 / p+b,不以 tag 字符串为准。
8.1 开局/运动抖动
问题描述
- 体感:任务执行中肉眼可见抖动/颠簸;开局未抓球时往往更易观察。
- 做法:先默认 async 基线量化,再单变量加 pchip、再加 RTC,短重规划 5+5 另作一组;指标看开局/中间/末段/全场,不预设因果。
分析过程
四组启动配置(FP8,policy_fps=15)
- A 基线:@8012 plain,
h6_89999_async.json,无 RTC / 无 pchip,20+5。 - B 仅平滑:@8012,
h6_89999_async_smooth.json,pchip + adaptive_velocity,20+5。 - C RTC+平滑 20+5:@8013 RTC,
--schedule async_rtc_smooth,pchip,20+5。 - D RTC+平滑 5+5:同上,
--replan-steps 5 --buffer-steps 5。
# A bash scripts/run_robot_badminton651.sh --schedule async --mode execute \ --tag fp8_async_20+5_jitter --note "默认20+5无RTC基线" # B bash scripts/run_robot.sh --config configs/badminton651/h6_89999_async_smooth.json \ --host 127.0.0.1 --port 8012 --duration 300 --requests 1000 --mode execute \ --tag fp8_async_smooth_20+5_jitter --note "20+5 pchip" # C bash scripts/run_robot_badminton651.sh --schedule async_rtc_smooth --mode execute \ --tag fp8_rtc_smooth_20+5_jitter --note "RTC+pchip 20+5" # D bash scripts/run_robot_badminton651.sh --schedule async_rtc_smooth --mode execute \ --replan-steps 5 --buffer-steps 5 \ --tag fp8_rtc_smooth_5+5_jitter --note "RTC+pchip 5+5" .venv/bin/python scripts/analyze_jitter.py latest --phase-s 10 .venv/bin/python scripts/summarize_jitter_tag.py --tag <tag> --phase-s 10
指标与分段
@framep95:帧跳变处手臂命令最大|Δcommand|(rad,绝对位置命令差分)。trackp95:同拍command臂 vsmeasured臂最大绝对误差。track>0.08:误差>0.08 rad 占比;mass@frame:命令变化落在帧跳变上的质量占比。- 分段:开局/末段各 10 s,中间为剩余,另报全场(总时长<30 s 则三等分)。
四组对照汇总(组均值,2026-11-11)
A n=2(SvmU8m3f, utFSbU3G);B n=1(XWWI1dpE);C n=2(LoA6Hz6b, DTKJLE0D);D n=2(ue0QpB40, Tnt3lsbM)。ue0QpB40 的 tag 写成 20+5,但报告 pb=5+5,已归入 D。
| 组 | 配置 | 段 | @frame p95 | track p95 | track>0.08 | mass@frame |
|---|---|---|---|---|---|---|
| A | async 无插值 20+5 | 开局 | 0.164 | 0.319 | 30% | 100% |
| 中间 | 0.151 | 0.318 | 24% | 100% | ||
| 末段 | 0.137 | 0.756 | 73% | 100% | ||
| 全场 | 0.157 | 0.697 | 35% | 100% | ||
| B | async pchip 20+5 | 开局 | 0.003 | 0.021 | 0% | 10% |
| 中间 | 0.015 | 0.138 | 11% | 14% | ||
| 末段 | 0.014 | 0.123 | 18% | 14% | ||
| 全场 | 0.014 | 0.132 | 11% | 14% | ||
| C | RTC+pchip 20+5 | 开局 | 0.0027 | 0.019 | 0% | 9% |
| 中间 | 0.0019 | 0.015 | 0% | 8% | ||
| 末段 | 0.0016 | 0.015 | 0% | 8% | ||
| 全场 | 0.0019 | 0.016 | 0% | 8% | ||
| D | RTC+pchip 5+5 | 开局 | 0.0019 | 0.013 | 0% | 12% |
| 中间 | 0.0019 | 0.011 | 0% | 11% | ||
| 末段 | 0.0021 | 0.012 | 0% | 12% | ||
| 全场 | 0.0019 | 0.011 | 0% | 11% |
读数
- A→B:开局
@frame/track 数量级下降,mass@frame100%→~10%,说明 pchip 已把「帧间保持、帧变一跳」打散;但 B 的中间/末段 track 又抬到 ~0.12–0.14。 - B→C:开局相近;中间/末段/全场 track 压到 ~0.015–0.016,且 track>0.08 为 0 → RTC+pchip 比「仅 pchip」更能稳住后半段。
- C→D:5+5 与 20+5 同量级(全场 track≈0.011 vs 0.016),时序仍 late=0;短重规划未把命令阶跃/跟踪打坏。
- 各组有效场均
late=0;RTC 场 rtc_applied≈infer−1,pchip 场 handoff_blends>0。 - 残差体感:即使 C/D track 已经很好,肉眼仍能感到抖 → 继续用频谱把「命令抖 / 模型抖 / 训练数据抖」拆开(下一节)。
频谱与来源定位(2026-11-11)
对手臂关节速度做 FFT,看能量落在哪些频段。>3Hz ≈ 细抖(约一秒抖三下以上);训练/模型在 15Hz 动作序列上算,伺服命令与实测在 ~100Hz 控制轨迹上算。训练数据:badminton-651-15hz-20261026-225249(timestamp 中位间隔≈0.0667s,实为 15Hz 合并集,n=643 episode)。
指标口径
- 手臂维:action/state 第 8–21 维(14 关节)。
- 整段 / chunk >3Hz 能量占比:速度谱中频率>3Hz 的能量 / 全部正频率能量。
- 频段占比:0–1 / 1–3 / 3–7.5 /(伺服侧另有 7.5–15、15–50)Hz。
- 模型侧:每个推理 chunk 单独算,再对 chunk 取均值(与训练 30 帧窗口径接近)。
表 1 · 训练 demo vs 模型输出 chunk(15Hz 动作)
| 来源 | 0–1Hz | 1–3Hz | 3–7.5Hz | >3Hz | 备注 |
|---|---|---|---|---|---|
| 训练 action(整段均值,643 ep) | 65% | 29% | 6% | 6% | 30 帧窗 >3Hz 均值 13% / p95 35% |
| 模型 chunk · A 无插值 20+5(n=63) | 38% | 45% | 18% | 18% | chunk 均值 |
| 模型 chunk · B 仅 pchip 20+5(n=129) | 20% | 28% | 52% | 52% | chunk 均值 |
| 模型 chunk · C RTC+pchip 20+5(n=196) | 4% | 16% | 79% | 79% | p50 82% / p95 88% |
| 模型 chunk · D RTC+pchip 5+5(n=662) | 7% | 20% | 74% | 74% | p50 81% / p95 89% |
表 2 · 伺服侧 command / measured 速度谱(~100Hz,组均值)
| 组 | 信号 | 0–1Hz | 1–3Hz | 3–7.5Hz | 7.5–15Hz | 15–50Hz |
|---|---|---|---|---|---|---|
| A 无插值 | command | 7% | 5% | 1% | 12% | 75% |
| measured | 53% | 35% | 5% | 1% | 7% | |
| B 仅 pchip | command | 41% | 40% | 14% | 3% | 1% |
| measured | 44% | 43% | 7% | 1% | 7% | |
| C RTC+pchip 20+5 | command | 2% | 11% | 59% | 27% | 2% |
| measured | 5% | 25% | 59% | 6% | 6% | |
| D RTC+pchip 5+5 | command | 1% | 10% | 62% | 23% | 4% |
| measured | 4% | 22% | 62% | 6% | 7% |
来源结论
- 训练数据本身不抖:demo action 整段 >3Hz 仅 ~6%,能量集中在 0–3Hz。
- 模型输出 action 本身抖:RTC 场 chunk 的 >3Hz / 3–7.5Hz 升到 ~74–79%,远高于训练分布。
- 机器人在跟命令:C/D 的 command 与 measured 在 3–7.5Hz 几乎同占比(~59–62%),且 track p95≈0.01–0.016 → 观感抖不是跟丢,而是命令里就有高频。
- pchip 会原样放出模型点:插值保证穿过每个模型帧,不滤高频;模型点抖 → 100Hz 命令也抖。
- A 的 15–50Hz command 能量高主要来自零阶保持阶跃(频谱泄漏),measured 仍偏低频;与 C/D「平滑但仍在 3–7.5Hz 抖」不是同一机制。
- 综合:残差抖动定位为 flow-matching 推理输出的高频(配置
noise_mode: random),不是训练 demo,也不是跟踪误差。
解决方案
状态:阶跃/跟踪问题已由 RTC+pchip 压住;残差高频来自模型 action,部署侧需再滤波
- 已建议默认:FP8 @8013 +
async_rtc_smooth(pchip)。相对无插值基线,开局/全场命令阶跃与跟踪误差大幅下降;相对仅 pchip,后半段跟踪更稳。5+5 可作更高反应候选。 - P0 · chunk 内零相位低通(~2.5–3Hz,仅手臂):对模型输出滤波后再进 pchip;RTC 时把剩余缓冲与新 chunk 拼接滤波,再钉住冻结的前 d 帧。验收:measured 速度 3–7.5Hz 占比 <20%,同时 track / late / 成功率不劣化。
- P0 · 固定噪声:把
noise_mode从random改为固定(需 Apex 服务端支持),降低采样引入的高频。 - P1:Ruckig 一类 jerk 限制;核对 RTC guidance weight。
- P2:训练数据已确认偏平滑,改数据/重训不是第一优先级;若日后仍不够,再考虑动作滤波后微调或 A2C2 等。
- 不宜单独当最终方案:仅 pchip(中后段 track 回升,且不消除模型高频)。
精度 × 滤波 A/B(2026-11-12,15+10)
在 RTC+pchip 压住阶跃/跟踪之后,继续用 execHF(15Hz 执行 action 速度谱 >3Hz 能量占比)与 cmdHF(100Hz command 速度谱 >3Hz)拆「模型抖」和「台阶抖」。纵轴:none / 仅 pchip / 仅 ZP@3Hz / pchip+ZP;横轴:FP16 / FP8 / NVFP4。多数场次 empty=0;NVFP4/FP8 的 RTC 场 rtc_applied 正常。
指标口径
- execHF:执行用 action chunk(有 ZP 用滤波后)手臂速度谱 >3Hz 占比(chunk 中位数)。
- cmdHF:100Hz 下发 command 手臂速度谱 >3Hz 占比(窗中位数)。
- ZP:
zero_phase_dct@3Hz,仅手臂 8:22;pchip:15Hz→100Hz 插值(采样点 pass-through)。
表 A · 纵向(滤波组合)— 以 FP8 无 RTC 与 FP8 RTC 为代表
| 配置 | FP8 无RTC exec/cmd | FP8 RTC exec/cmd | 读数 |
|---|---|---|---|
| none | 84.6% / 97.4% | 82.3% / 96.8% | 肉眼明显抖;模型高频 + ZOH 台阶 |
| 仅 pchip | 85.5% / 76.7% | 85.1% / 85.4% | execHF 几乎不动(pass-through);体感弱于 ZP |
| 仅 ZP@3Hz | 14.1% / 87.9% | — | execHF 大降(~70%+);cmd 仍有台阶抖 |
| pchip+ZP | 19.4% / 15.6% | 13.4% / 12.6% | 两边都压住;当前减抖最优组合 |
表 B · 横向(精度)— 同为 RTC · 15+10
| 配置 | FP16 | FP8 RTC | NVFP4 RTC | apex p50 |
|---|---|---|---|---|
| none | 8.3 / 84.3(无RTC) | 82.3 / 96.8 | 90.0 / 97.8 | FP16≈242 · FP8≈112 · NVFP4≈74 ms |
| 仅 pchip | 84.9 / 16.0(无RTC) | 85.1 / 85.4 | 89.5 / 87.6 | 同上量级差异 |
| 仅 ZP | 5.8 / 84.4(无RTC) | — | — | FP16 无RTC 对照 |
| pchip+ZP | 18.4 / 1.6(无RTC) | 13.4 / 12.6 | 19.9 / 14.7 | 三精度均进入低抖区 |
注:FP16 当日 A/B 多为无 RTC(unirt 包无 RTC kernel);FP16 none 的 execHF 偏低与当次动作内容有关,不宜与 FP8/NVFP4 的「脏」基线硬比绝对值。NVFP4 none/pchip 略高于 FP8,可能有量化贡献,但非同观测/非固定 noise,不能单独归因。
整体结论
- 纵向:主抖来自模型高频;ZP 负责体感减抖(砍 execHF);pchip 负责消 ZOH 台阶(砍 cmdHF,但不削采样点模型抖);pchip+ZP 互补最优。
- 横向:FP16 / FP8 / NVFP4 在「是否开 ZP/pchip」上机制一致;精度主要影响 apex 延迟(NVFP4 最快 ≈74ms,FP8 ≈112ms,FP16 ≈242ms),不是减抖主因。
- RTC:主要改善交接引导/跟踪,对 execHF/cmdHF alone 几乎无替代作用;减抖仍靠 ZP+pchip。
- 推荐部署姿态(抖):
async_rtc_smooth_zp或无 RTC 的async_smooth_zp(15+10),手臂 ZP@3Hz + pchip。
抖动叠画对比
把今日 14 场执行轨迹按关节叠画,可用标签筛精度 / RTC / ZP / pchip,便于一眼看差异:
打开抖动叠画页 →(同目录 action-jitter-curves.html)
- 实线 = 该场次实际执行轨迹(有 ZP 用滤波后,无 ZP 用 raw)。
- 快捷:「只看 FP8 / FP16 / NVFP4」「只要有 ZP」「只要 pchip+ZP」「只看 RTC」。
- 代表场次:FP8 moAMcpLF(pchip+ZP)、ZTBk7h3d(RTC+pchip+ZP);NVFP4 ChQog1e1(RTC+pchip+ZP);FP16 QtTQfe0y(pchip+ZP)。
解决方案状态更新(相对上文 P0)
- 已落地:手臂 chunk
zero_phase_dct@3Hz配置开关(async_zp/async_smooth_zp/async_rtc_smooth_zp);真机 A/B 确认有效。 - 已落地:execute 可选
--fixed-noise-seed注入同一份obs.noise(ApexInfer);固定 seed 可复现,但不自动降低 HF。 - 建议默认减抖栈:pchip + ZP@3Hz;需要交接质量时再叠 RTC;精度按延迟预算选 NVFP4/FP8。