名词介绍

overlap_gap(规划重叠差)

新旧两个动作块在「即将交接的那段时间」上,规划是否一致。

公式:overlap_gap = max | new[0:d] − old[s : s+d] |(弧度)。其中 s 是观测时刻在旧块里走到第几帧,d 是观测到交接还剩几帧(约等于 buffer)。

plain / RTC 都记。 它衡量的是「模型两次推理在重叠时段想去的地方差多少」,不受交接时 skip / blend / 裁剪影响。RTC 的作用就是压低这个值:plain 常见 p50 ≈ 0.15–0.18,RTC 常见 ≈ 0.01。

jump / handoff jump(交接跳变)

真正切到新块那一拍,发给机器人的命令相对上一拍命令跳了多少。

取自 previous_command_difference.difference_rad:交接瞬间「新目标 − 旧命令」的最大关节差(弧度)。

它受 skip、blend、限位裁剪影响,是实际执行侧的颠簸;overlap 大时 jump 通常也大,但 overlap 小不保证 jump 一定小(比如裁剪、插值方式不同)。报告里 RTC 把 jump p50 从约 0.03–0.05 压到约 0.005。

二者关系(怎么读)

overlap = 规划一致性(RTC 是否把新旧块对齐);jump = 交接瞬间机器人实际感到的跳变。

评价 RTC:先看 overlap 是否数量级下降,再看 jump 是否跟着下降、成功率/重试是否改善。只看 jump 会被 blend 掩盖真实规划差。

其它常用词

p+b(如 5+5):replan 帧数 + buffer 帧数。约每 p/15 秒重规划一次,交接前留 b/15 秒等新推理。

RTC 生效率:被接受的块里带了 RTC 引导的比例(首包无旧块,不算生效)。

纯模型推理:apex_infer_ms(JAX 用 policy_infer_ms)。

请求就绪:client_rt / infer_call_ms=已备好观测后调用 infer() 到拿到结果(含 prep + apex + 本机网络)。

观测→就绪:从相机时间戳算起,比请求就绪多约 30 ms 帧龄;不要和 JAX/FP8 的 client_rt 混比。

时长:整次 run 的 control_trace 首末单调时钟差(含收尾),不是「捡完 3 个球」的净任务时间。

总览对比

一行一类测试(含第五章短重规划:4+4 / 3+3 / 3+2 / 3+3_perturb)。成功率 / handoff_slack 越高越好;overlap / jump / Apex / 时长越低越好。并列最优会同时标绿。slack = handoff_slack_ms p50(交接前余量)。短重规划场次少、时长多为 Ctrl+C 中止,时长列可空。

青绿条 = plain(非 RTC) 橙色条 = RTC 深绿条 = 该图最优(可并列) 表格浅绿底 = 该列最优

组间汇总

每次运行

耗时与交接

20+5:plain vs RTC

20+5 每次运行

RTC 5+5(尚无 plain 5+5 对照)

NVFP4 三类并排(均值)

NVFP4 全部明细

NVFP4 耗时

三、其它方向总结

policy_fps 15 → 30(结论:不建议,未实测)

结论:当前代码里 policy_fps 是“动作帧播放时钟”,不是控制下发频率。改成 30 并不会“更频繁地下发控制”,而是把 15 Hz 训练出的动作块 2 倍速快放。

依据:execution_fps = policy_fps × execution_speed,第 k 帧安排在 origin + k / execution_fps;实际下发由 servo_hz = 100 插值完成;execution_speed 被限制在 (0, 1],即代码本意只允许放慢、不允许加速。

项目policy_fps 15(现状)policy_fps 30
实际下发频率100 Hz100 Hz(不变)
一块 30 帧覆盖时长2.0 s1.0 s
同一条轨迹的速度 / 加速度1× / 1×≈2× / ≈4×
每帧间 100 Hz 插值点≈6.7≈3.3
5+5 的墙钟时间(重规划 / 缓冲)333 ms / 333 ms167 ms / 167 ms
推理延迟(≈130–170 ms)折合帧数2–3 帧4–5 帧
RTC d(handoff−观测)≈5≈10,d ≤ s ≤ 30−d 更难满足

可能的问题

风险说明
训练/部署分布不一致模型按 15 Hz 学“下一帧去哪”。2 倍速执行后,下一次观测到的运动状态、物体相对位置、运动模糊都偏离训练分布,闭环误差会累积。预计抓取重试增多、夹爪开合时机错位。
动力学与安全速度约 2 倍、加速度约 4 倍。跟踪误差变大,更容易触发限位裁剪和跟踪告警;碰桶、碰球、碰桌冲击更大。
时序余量不足5+5 下每 167 ms 就要推理一次,接近端到端延迟。推理会首尾相接、零余量,易出现迟到块和缓冲空等。20+5 时缓冲只剩 167 ms。
RTC 回退增多s、d 按 policy_fps 换算,帧数都翻倍。约束 d ≤ s ≤ 30−d 更难满足,引导段在时间上的含义也随之改变。
与现有实验不可比同为“5+5”,墙钟时间减半。要对齐重规划的实际时间,30 Hz 下需用 10+10。

更合适的“提高动态反应”方向

方向说明
缩短重规划周期20+5 → 5+5 已验证有效(NVFP4 RTC 5+5 9/9)。可继续试 4+4、5+3,但需满足时序约束。
降低推理延迟NVFP4 Apex 约 70 ms;服务端预处理约 20–25 ms 仍可优化。
RTC 保证交接一致overlap p50 从约 0.16–0.18 降到约 0.01,交接跳变降一个数量级。
轨迹更细靠 100 Hz 插值(如 pchip)即可,无需压缩帧间隔。
真正 30 Hz 语义需用 30 Hz 数据重新训练或微调。

若仍要实测(快放实验)

  1. 新建配置 h6_89999_async_rtc_30hz.json,只改 policy_fps: 30。
  2. 先 dry-run,确认无迟到块、无缓冲空等、RTC 不回退。
  3. execute 用 10+10(墙钟时间约等于 15 Hz 下的 5+5),先只跑 RTC 一组,tag 例如 nvfp4_rtc_30hz_10+10,全程手放急停。
  4. 观测:成功率、跟踪误差、速度 / jerk、限位裁剪次数、迟到块与缓冲空等、overlap / jump。

四、推理优化汇总(相对 JAX)

两列口径分开:左边只比模型算子;右边只比「观测已备好后发请求到结果返回」。不要把观测→就绪和 client_rt 混在一行。

耗时口径对照

纯模型推理 = apex_infer_ms(JAX 无拆分,记 policy_infer_ms)。

请求就绪 = A/B 的 client_rt_ms ≈ 真机 infer_call_ms(含服务端 prep + apex + 本机网络)。

JAX / FP16 / FP8 来自同份 live.npz、绑核 0–13、drop5 n=15 的 A/B;NVFP4 为方案 A 后 dry-run p50。观测→就绪另计,见下表备注。

后端 纯模型推理 p50 相对 JAX 请求就绪 p50 相对 JAX 备注
JAX bf16 414 ms 1.0× 416 ms 1.0× policy 未拆 prep
ApexInfer FP16 246 ms 1.7× 273 ms 1.5× prep ≈ 25 ms
ApexInfer FP8 109 ms 3.8× 136 ms 3.1× prep ≈ 25 ms
ApexInfer NVFP4(方案 A 后) 72 ms 5.8× 92 ms 4.5× prep ≈ 16 ms;观测→就绪 ≈ 129 ms(含帧龄 ~31 ms,勿与上列混比)

优化项与收益

优化项 主要作用口径 耗时变化(约) 说明 状态
JAX → ApexInfer FP16 纯推理 / 请求就绪 414→246 / 416→273 UniRT + ApexInfer 替换 openpi JAX 已完成
FP16 → FP8 量化包 纯推理 / 请求就绪 246→109 / 273→136 apex −137 ms;prep 仍约 25 ms 已完成
FP8 → NVFP4 量化包 纯推理 / 请求就绪 109→72 / 136→92 apex 再 −37 ms 已完成
JPEG 三路线程池并行解码 请求就绪(prep) 墙钟≈最慢一路 相对三路串行解码 已完成
方案 A:每路 decode+letterbox 同线程并行 请求就绪(prep) prep 20.9→16.3(−4.6 ms) 输出与串行路径逐像素一致 刚上线
绑核 0–13(避免 3 核 cgroup) 请求就绪(prep) 避免 prep 涨到 ~140 ms 运维项;测速/服务需落到 0–13 运维
RTC(8013) 交接质量(非时延) apex 几乎不增 overlap 0.16→0.01;jump 0.03→0.005;使短重规划可用 已完成
重规划 20+5 → 5+5(依赖 RTC) 动态反应周期 ~1000 ms → ~500 ms NVFP4 RTC 5+5 进桶 9/9;时延本身不因此下降 已完成
方案 B:大图降采样解码 请求就绪(prep) 离线估 prep → ~10 ms 腕部 1280 图;像素微差,需精度门 待做
客户端预解码 rgb224 请求就绪 关键路径再去 ~10–16 ms prep 后台 CPU,注意不与伺服抢核 待做

合计(相对 JAX):纯推理约 5.8×(414→72);请求就绪约 4.5×(416→92)。RTC + 5+5 主要提升交接平滑与反应周期,不计入上列倍数。

五、短重规划与扰动(NVFP4 RTC)

在已有 5+5 / 20+5 之外,继续压 p+b,并做挪球扰动。口径:进桶为任务成功;slack/空等衡量是否跟得上;overlap/jump 衡量交接平滑。

服务:8013 NVFP4 RTC。静态场:4+4、3+3、3+2 各 1 场有效 execute;扰动:3+3_perturb 两场(每球多次挪动)。已排除一次极短中断的 3+2。

静态:4+4 / 3+3 / 3+2

每次运行

3+3 挪球扰动

读法:

  • 4+4:任务满分,slack 健康(p50≈99 ms,无迟到)→ 可作短重规划主力。
  • 3+3:任务满分,但开始贴边(迟到 6、空等 8)→ 上限边缘。
  • 3+2:任务仍满分,但 88% 块迟到、空等 601 → 调度已透支,不建议常态。
  • 3+3_perturb:高频挪球下仍能跟;一场 2/2,一场 1/2 卡住(Ctrl+C 停,非 duration 超时)。跟随体感一般;时序仍偶发迟到。

3+3 零迟到:预算拆解与优化顺序

口径:迟到 = handoff_slack_ms < 0;墙钟预算 = b / policy_fps。数据来自 robot-live-dwDsP0UF(NVFP4 RTC 3+3,164 块)。

结论:3+3 不是均值不够,而是尾部贴边。预算 200 ms;request_to_ready p50=175(对应 slack≈20)、p99≈202(刚好越线)。6 次迟到的块平均 r2r=198、r2o=92、infer=106;OK 块平均 r2r=169、r2o=72。再挤出 ≈25 ms 尾部即可把 p99 压到 ~175、目标 slack_min>0。

RTC 侧多数块已是 d=2(163 里 122 次):请求后等新帧把 buffer 吃掉约 1 个 policy 帧,有效引导窗变薄,但交接仍按 p+b 墙钟截止。

量3+34+4含义
request→handoff 预算200 ms267 msb 帧 × (1000/15)
request_to_ready p50 / p99175 / 202163 / 202决定是否迟到的墙钟路径
request_to_observation p5077 ms67 ms等五路源(3 相机+joint+gripper)在请求后更新
infer_call p50(prep+apex+net)97 ms96 msapex≈73,prep≈20
slack p50 / min · 迟到19.6 / −19.4 · 698.6 / 57.6 · 04+4 多 67 ms 预算盖住同量级尾部
优先级手段估节能说明状态
1 缩短 request→observation(主因) −15~30 ms require_new_observation=true 在请求武装后等五路源都更新(3 路相机 + joint_state + gripper_state,不是 5 个相机);unchanged 轮询 745 次/场。可做:capture lead(在 prefix 前提前拉流但不改 handoff)、或放宽“请求后新帧”为“年龄<阈值的最新帧”。这是零迟到的最大杠杆。 待做
2 方案 B:腕部大图降采样解码 prep −5~10 ms 离线估 prep→~10 ms;与方案 A 叠加,压 p95 prep/infer 尾部。 待做
3 客户端预解码 rgb224 关键路径再 −10~16 ms 后台 CPU 出 224;注意勿与伺服抢核(当前 client cpus 11–13)。 待做
— 改成 3+4 / 只加 b 预算 +67 ms 不推荐作 RTC 主路径:需 d≤s≈b≤p,3+4 易 RTC 回退。4+3 不增加 b 预算,解决不了迟到。 否决
— 继续压 Apex 个位数 ms NVFP4 apex p50≈73 已较满;性价比低于 capture/prep。 低优

建议落地顺序:先做 capture lead / 新鲜度策略(目标 r2o p50 77→≤50),再上方案 B;两者合计约 −25 ms 即可覆盖当前迟到尾。验收:同条件 3+3 execute,late_n=0 且 slack_min≥20;扰动场再复测。

六、policy_fps 30 快放(FP16 plain,单章)

本章只记录「把播放时钟从 15 改成 30」的实测,不与前文 FP8/NVFP4、RTC、短重规划数据对照。口径:成功=球进桶;空放/掉桶/卡住另记。

设置与跑次

唯一变量:policy_fps: 15 → 30(配置 h6_89999_async_30hz.json)。精度 FP16 plain @8012;无 RTC;async_buffer + handoff_target;p+b=20+10(缓冲墙钟≈333 ms,与 15Hz 的 b=5 同量级;整块最多 30 帧,不能 40+10)。

语义提醒:改的是动作帧播放时钟,不是下发频率。伺服仍是 100 Hz;30 帧块从 2.0 s 压成 1.0 s → 同一条轨迹约 2× 速 / 4× 加速度。

运行模式tag进桶操作员记录
robot-live-y4za09Mw 等 shadowfp16_plain_30hz_20+10 — 默认 shadow、requests=20,仅通路冒烟;不计入任务结论。
robot-live-a5T3Uen7 executefp16_plain_30hz_20+10_dry 有进桶* 体感幅度变大;重试明显增多;每球约 2–4 次才成功。Ctrl+C 停。
robot-live-mvofBJzZ executefp16_plain_30hz_20+10_dry 0 全程未抓成功;桶掉了;持续空放。Ctrl+C 停。

*第 1 场进桶次数未精确点球;outcome 仅保留操作员描述。

时序与跟踪(两场 execute)

指标 a5T3Uen7 mvofBJzZ 读法
推理块数 68121 accepted
request_to_ready p50 ms 329328 相对缓冲预算 ≈333 ms,几乎贴边
apex p50 ms 246247 FP16 纯推理
handoff_slack p50 / late −0.5 / 35÷67 2.3 / 56÷120 约半数块迟到
buffer_empty 拍 85124 缓冲用尽空等
tracking_warning 占比 ≈93%≈72% 目标跑太快,实测跟不上
臂跟踪误差 p95 rad ≈0.14≈0.09 命令 vs 实测
overlap_gap p50 ≈0.5≈0.5 无 RTC 硬切,交接跳变大

本章结论

  • 任务侧:快放后动作更猛、抓取/放桶时机偏移;一场靠多次重试勉强进桶,一场零成功并掉桶+空放。
  • 时序侧:在 20+10 下缓冲预算刚够盖住 FP16 均值延迟,但尾部大量迟到与空等;不是「下发变密」,而是播放变快导致周期变紧。
  • 机制:15 Hz 训练分布被 2× 快放破坏;跟踪告警长期触发,与重试/空放/掉桶一致。
  • 处置:30 Hz 快放实验收工,不作为部署优化手段。后续动态反应仍走降延迟 + 短重规划(15 Hz 播放时钟)方向。

七、FP8 · 4+4(plain vs RTC)

本章汇总本轮三场 execute:FP8 @8012 plain 一场、@8013 RTC 两场;p+b 均为 4+4,policy_fps=15。只在本章内对照 plain/RTC,不改写前文其它精度章节。

服务:unirt-fp8;plain 无 RTC / RTC 启用 leftover。缓冲墙钟 4/15≈267 ms;实测 r2r p50≈197–202 ms,三场 late 均为 0。

三次跑次

运行RTC进桶lateempty slack p50/minoverlap p50apex p50r2r p50 备注
plain ES3MTVli plain 2/2 0 1 61.6 / 5.4 0.096 109 197 无空放;1球1次、2球3次;最后无卡住
RTC 2bqu1K89 RTC 3/3 0 3 58.5 / 24.1 0.006 112 202 均1次成功;无空放;无卡住
RTC rXbWLlb2 RTC 3/3 0 2 59.9 / 26.7 0.007 113 202 3球全部一次成功;无空放;无卡住

组内汇总

组场次进桶满分场 late 合计empty 合计 slack p50 均slack min 均 overlap p50 均apex p50 均
plain FP8 4+4 12/21/1 01 61.65.4 0.096109
RTC FP8 4+4 26/62/2 05 59.225.4 0.007112

读数(仅本章):

  • 三场时序均健康(late=0);4+4 缓冲对 FP8(apex≈110、r2r≈200)有余量。
  • RTC 两场均为 3/3 一次成功;plain 一场 2/2 但有重试(2 球花了 3 次)。
  • RTC 的 overlap p50 约 0.007,相对 plain ≈0.10 低一个数量级;slack 最差情况也更好(min≈25 vs ≈5)。

FP8 RTC · 3+3(两场有效)

缓冲预算 3/15≈200 ms;FP8 r2r p50≈205–207 ms,时序系统性贴边/透支。任务仍可满分,但不建议作常态。

运行进桶lateempty拍 slack p50/minoverlap p50apex p50r2r p50 备注
RTC YeIpSXT5 3/3 192/237 364 −12.5 / −42.8 0.006 111 207 均1次成功;有一次空放;无卡住
RTC fQpOBE6W 3/3 254/324 453 −10.5 / -57.7 0.006 111 205 3球全部一次成功;无空放;无卡住

组内:进桶 6/6、满分场 2/2;late 合计偏高、empty 拍数百。相对同精 4+4(late=0、empty≤3),3+3 对 FP8 已不够用。中间另有未补录体感的中断场(WC4oziNX / E3hOZMCy),未计入上表。

八、问题和优化汇总

把执行侧仍在跟进的问题与优化项单独成章,和前面的精度/RTC/短重规划实验区分开。每条按「问题描述 → 分析过程 → 解决方案」记录;分组按实际 rtc / 插值 / p+b,不以 tag 字符串为准。

8.1 开局/运动抖动

问题描述

  • 体感:任务执行中肉眼可见抖动/颠簸;开局未抓球时往往更易观察。
  • 做法:先默认 async 基线量化,再单变量加 pchip、再加 RTC,短重规划 5+5 另作一组;指标看开局/中间/末段/全场,不预设因果。

分析过程

四组启动配置(FP8,policy_fps=15)

  • A 基线:@8012 plain,h6_89999_async.json,无 RTC / 无 pchip,20+5。
  • B 仅平滑:@8012,h6_89999_async_smooth.json,pchip + adaptive_velocity,20+5。
  • C RTC+平滑 20+5:@8013 RTC,--schedule async_rtc_smooth,pchip,20+5。
  • D RTC+平滑 5+5:同上,--replan-steps 5 --buffer-steps 5。
# A
bash scripts/run_robot_badminton651.sh --schedule async --mode execute \
  --tag fp8_async_20+5_jitter --note "默认20+5无RTC基线"
# B
bash scripts/run_robot.sh --config configs/badminton651/h6_89999_async_smooth.json \
  --host 127.0.0.1 --port 8012 --duration 300 --requests 1000 --mode execute \
  --tag fp8_async_smooth_20+5_jitter --note "20+5 pchip"
# C
bash scripts/run_robot_badminton651.sh --schedule async_rtc_smooth --mode execute \
  --tag fp8_rtc_smooth_20+5_jitter --note "RTC+pchip 20+5"
# D
bash scripts/run_robot_badminton651.sh --schedule async_rtc_smooth --mode execute \
  --replan-steps 5 --buffer-steps 5 \
  --tag fp8_rtc_smooth_5+5_jitter --note "RTC+pchip 5+5"

.venv/bin/python scripts/analyze_jitter.py latest --phase-s 10
.venv/bin/python scripts/summarize_jitter_tag.py --tag <tag> --phase-s 10

指标与分段

  • @frame p95:帧跳变处手臂命令最大 |Δcommand|(rad,绝对位置命令差分)。
  • track p95:同拍 command 臂 vs measured 臂最大绝对误差。
  • track>0.08:误差>0.08 rad 占比;mass@frame:命令变化落在帧跳变上的质量占比。
  • 分段:开局/末段各 10 s,中间为剩余,另报全场(总时长<30 s 则三等分)。

四组对照汇总(组均值,2026-11-11)

A n=2(SvmU8m3f, utFSbU3G);B n=1(XWWI1dpE);C n=2(LoA6Hz6b, DTKJLE0D);D n=2(ue0QpB40, Tnt3lsbM)。ue0QpB40 的 tag 写成 20+5,但报告 pb=5+5,已归入 D。

组配置段 @frame p95track p95track>0.08mass@frame
Aasync 无插值 20+5 开局0.1640.31930%100%
中间0.1510.31824%100%
末段0.1370.75673%100%
全场0.1570.69735%100%
Basync pchip 20+5 开局0.0030.0210%10%
中间0.0150.13811%14%
末段0.0140.12318%14%
全场0.0140.13211%14%
CRTC+pchip 20+5 开局0.00270.0190%9%
中间0.00190.0150%8%
末段0.00160.0150%8%
全场0.00190.0160%8%
DRTC+pchip 5+5 开局0.00190.0130%12%
中间0.00190.0110%11%
末段0.00210.0120%12%
全场0.00190.0110%11%

读数

  • A→B:开局 @frame/track 数量级下降,mass@frame 100%→~10%,说明 pchip 已把「帧间保持、帧变一跳」打散;但 B 的中间/末段 track 又抬到 ~0.12–0.14。
  • B→C:开局相近;中间/末段/全场 track 压到 ~0.015–0.016,且 track>0.08 为 0 → RTC+pchip 比「仅 pchip」更能稳住后半段。
  • C→D:5+5 与 20+5 同量级(全场 track≈0.011 vs 0.016),时序仍 late=0;短重规划未把命令阶跃/跟踪打坏。
  • 各组有效场均 late=0;RTC 场 rtc_applied≈infer−1,pchip 场 handoff_blends>0。
  • 残差体感:即使 C/D track 已经很好,肉眼仍能感到抖 → 继续用频谱把「命令抖 / 模型抖 / 训练数据抖」拆开(下一节)。

频谱与来源定位(2026-11-11)

对手臂关节速度做 FFT,看能量落在哪些频段。>3Hz ≈ 细抖(约一秒抖三下以上);训练/模型在 15Hz 动作序列上算,伺服命令与实测在 ~100Hz 控制轨迹上算。训练数据:badminton-651-15hz-20261026-225249(timestamp 中位间隔≈0.0667s,实为 15Hz 合并集,n=643 episode)。

指标口径

  • 手臂维:action/state 第 8–21 维(14 关节)。
  • 整段 / chunk >3Hz 能量占比:速度谱中频率>3Hz 的能量 / 全部正频率能量。
  • 频段占比:0–1 / 1–3 / 3–7.5 /(伺服侧另有 7.5–15、15–50)Hz。
  • 模型侧:每个推理 chunk 单独算,再对 chunk 取均值(与训练 30 帧窗口径接近)。

表 1 · 训练 demo vs 模型输出 chunk(15Hz 动作)

来源 0–1Hz1–3Hz3–7.5Hz>3Hz 备注
训练 action(整段均值,643 ep) 65%29%6%6% 30 帧窗 >3Hz 均值 13% / p95 35%
模型 chunk · A 无插值 20+5(n=63) 38%45%18%18% chunk 均值
模型 chunk · B 仅 pchip 20+5(n=129) 20%28%52%52% chunk 均值
模型 chunk · C RTC+pchip 20+5(n=196) 4%16%79%79% p50 82% / p95 88%
模型 chunk · D RTC+pchip 5+5(n=662) 7%20%74%74% p50 81% / p95 89%

表 2 · 伺服侧 command / measured 速度谱(~100Hz,组均值)

组信号 0–1Hz1–3Hz3–7.5Hz7.5–15Hz15–50Hz
A 无插值 command7%5%1%12%75%
measured53%35%5%1%7%
B 仅 pchip command41%40%14%3%1%
measured44%43%7%1%7%
C RTC+pchip 20+5 command2%11%59%27%2%
measured5%25%59%6%6%
D RTC+pchip 5+5 command1%10%62%23%4%
measured4%22%62%6%7%

来源结论

  • 训练数据本身不抖:demo action 整段 >3Hz 仅 ~6%,能量集中在 0–3Hz。
  • 模型输出 action 本身抖:RTC 场 chunk 的 >3Hz / 3–7.5Hz 升到 ~74–79%,远高于训练分布。
  • 机器人在跟命令:C/D 的 command 与 measured 在 3–7.5Hz 几乎同占比(~59–62%),且 track p95≈0.01–0.016 → 观感抖不是跟丢,而是命令里就有高频。
  • pchip 会原样放出模型点:插值保证穿过每个模型帧,不滤高频;模型点抖 → 100Hz 命令也抖。
  • A 的 15–50Hz command 能量高主要来自零阶保持阶跃(频谱泄漏),measured 仍偏低频;与 C/D「平滑但仍在 3–7.5Hz 抖」不是同一机制。
  • 综合:残差抖动定位为 flow-matching 推理输出的高频(配置 noise_mode: random),不是训练 demo,也不是跟踪误差。

解决方案

状态:阶跃/跟踪问题已由 RTC+pchip 压住;残差高频来自模型 action,部署侧需再滤波

  • 已建议默认:FP8 @8013 + async_rtc_smooth(pchip)。相对无插值基线,开局/全场命令阶跃与跟踪误差大幅下降;相对仅 pchip,后半段跟踪更稳。5+5 可作更高反应候选。
  • P0 · chunk 内零相位低通(~2.5–3Hz,仅手臂):对模型输出滤波后再进 pchip;RTC 时把剩余缓冲与新 chunk 拼接滤波,再钉住冻结的前 d 帧。验收:measured 速度 3–7.5Hz 占比 <20%,同时 track / late / 成功率不劣化。
  • P0 · 固定噪声:把 noise_mode 从 random 改为固定(需 Apex 服务端支持),降低采样引入的高频。
  • P1:Ruckig 一类 jerk 限制;核对 RTC guidance weight。
  • P2:训练数据已确认偏平滑,改数据/重训不是第一优先级;若日后仍不够,再考虑动作滤波后微调或 A2C2 等。
  • 不宜单独当最终方案:仅 pchip(中后段 track 回升,且不消除模型高频)。

精度 × 滤波 A/B(2026-11-12,15+10)

在 RTC+pchip 压住阶跃/跟踪之后,继续用 execHF(15Hz 执行 action 速度谱 >3Hz 能量占比)与 cmdHF(100Hz command 速度谱 >3Hz)拆「模型抖」和「台阶抖」。纵轴:none / 仅 pchip / 仅 ZP@3Hz / pchip+ZP;横轴:FP16 / FP8 / NVFP4。多数场次 empty=0;NVFP4/FP8 的 RTC 场 rtc_applied 正常。

指标口径

  • execHF:执行用 action chunk(有 ZP 用滤波后)手臂速度谱 >3Hz 占比(chunk 中位数)。
  • cmdHF:100Hz 下发 command 手臂速度谱 >3Hz 占比(窗中位数)。
  • ZP:zero_phase_dct@3Hz,仅手臂 8:22;pchip:15Hz→100Hz 插值(采样点 pass-through)。

表 A · 纵向(滤波组合)— 以 FP8 无 RTC 与 FP8 RTC 为代表

配置 FP8 无RTC exec/cmd FP8 RTC exec/cmd 读数
none 84.6% / 97.4% 82.3% / 96.8% 肉眼明显抖;模型高频 + ZOH 台阶
仅 pchip 85.5% / 76.7% 85.1% / 85.4% execHF 几乎不动(pass-through);体感弱于 ZP
仅 ZP@3Hz 14.1% / 87.9% — execHF 大降(~70%+);cmd 仍有台阶抖
pchip+ZP 19.4% / 15.6% 13.4% / 12.6% 两边都压住;当前减抖最优组合

表 B · 横向(精度)— 同为 RTC · 15+10

配置 FP16 FP8 RTC NVFP4 RTC apex p50
none 8.3 / 84.3(无RTC) 82.3 / 96.8 90.0 / 97.8 FP16≈242 · FP8≈112 · NVFP4≈74 ms
仅 pchip 84.9 / 16.0(无RTC) 85.1 / 85.4 89.5 / 87.6 同上量级差异
仅 ZP 5.8 / 84.4(无RTC) — — FP16 无RTC 对照
pchip+ZP 18.4 / 1.6(无RTC) 13.4 / 12.6 19.9 / 14.7 三精度均进入低抖区

注:FP16 当日 A/B 多为无 RTC(unirt 包无 RTC kernel);FP16 none 的 execHF 偏低与当次动作内容有关,不宜与 FP8/NVFP4 的「脏」基线硬比绝对值。NVFP4 none/pchip 略高于 FP8,可能有量化贡献,但非同观测/非固定 noise,不能单独归因。

整体结论

  • 纵向:主抖来自模型高频;ZP 负责体感减抖(砍 execHF);pchip 负责消 ZOH 台阶(砍 cmdHF,但不削采样点模型抖);pchip+ZP 互补最优。
  • 横向:FP16 / FP8 / NVFP4 在「是否开 ZP/pchip」上机制一致;精度主要影响 apex 延迟(NVFP4 最快 ≈74ms,FP8 ≈112ms,FP16 ≈242ms),不是减抖主因。
  • RTC:主要改善交接引导/跟踪,对 execHF/cmdHF alone 几乎无替代作用;减抖仍靠 ZP+pchip。
  • 推荐部署姿态(抖):async_rtc_smooth_zp 或无 RTC 的 async_smooth_zp(15+10),手臂 ZP@3Hz + pchip。

抖动叠画对比

把今日 14 场执行轨迹按关节叠画,可用标签筛精度 / RTC / ZP / pchip,便于一眼看差异:

打开抖动叠画页 →(同目录 action-jitter-curves.html)

  • 实线 = 该场次实际执行轨迹(有 ZP 用滤波后,无 ZP 用 raw)。
  • 快捷:「只看 FP8 / FP16 / NVFP4」「只要有 ZP」「只要 pchip+ZP」「只看 RTC」。
  • 代表场次:FP8 moAMcpLF(pchip+ZP)、ZTBk7h3d(RTC+pchip+ZP);NVFP4 ChQog1e1(RTC+pchip+ZP);FP16 QtTQfe0y(pchip+ZP)。

解决方案状态更新(相对上文 P0)

  • 已落地:手臂 chunk zero_phase_dct@3Hz 配置开关(async_zp / async_smooth_zp / async_rtc_smooth_zp);真机 A/B 确认有效。
  • 已落地:execute 可选 --fixed-noise-seed 注入同一份 obs.noise(ApexInfer);固定 seed 可复现,但不自动降低 HF。
  • 建议默认减抖栈:pchip + ZP@3Hz;需要交接质量时再叠 RTC;精度按延迟预算选 NVFP4/FP8。