G2 放球任务优化 · 数据清洗 · 2026-11-15

30hz_full_clean_DG

从 30hz_full 按抖动规则 D∩G 筛 episode,生成可直接训练的独立子集。 原始库只读;工具 tools/make_jitter_clean_subset.py。

动机 指标 规则 流程 规模 清洗前后 训练用法

保留 ep
276 / 376
73.4%
保留帧
94.9 万
76.9% · 源 123.3 万
划分
261 / 15
train / val
包体
≈12.8 GiB
实体 parquet + 三路视频
一句话:丢掉最毛的示范(高频 / 换向 / 右手 / 跟踪差),保留约 ¾ 数据并重算 norm。 清洗是 P3 辅助 —— 解决不了真机 NVFP4「发明」的换向抽搐(部署侧仍优先 fp4_ep0)。

1. 动机

2. 指标含义

每条 episode 读 parquet 的 action / observation.state,只取手臂 14 维(索引 8–21),fps=30。

hf3mrad

关节角轨迹 3–7.5Hz 带通 RMS(对称延拓 + FFT)。

↓ 越小越平滑 · 含真实快速动作 + 中频毛刺。

hf7mrad

同一轨迹 7.5–15Hz 段 RMS。

↓ 越小越好 · 更贴近锯齿 / 量化噪声;「hf7≈hf3」是抽搐形态。

rev次/s

|v|>0.02 rad/s 的速度符号翻转 ÷(关节·秒)。

↓ 越小越好 · 示范里整体很低;过高 = 来回拧。

trackmrad

action − state 的 RMS。

↓ 越小越好 · 遥操跟踪差 / 异常段。

R_hf3mrad

右手关节(ARM 后半)的 hf3。

↓ 越小越好 · 对应体感「右手抓球更毛」。

hf7 / hf3

高频占比。接近 1 = 频谱几乎全是毛刺。

规则 D 用 >0.85 且 hf3>4 抓「又大又尖」的 ep。

3. 清洗规则 D∩G

规则逻辑意图
D 去抽搐向 丢掉:hf7>3.5,或 hf7/hf3>0.85 且 hf3>4.0,或 rev>0.65 去掉高频尖 / 换向异常
G 实用保留 留下:hf3≤4.5 ∧ hf7≤3.5 ∧ rev≤0.60 ∧ track≤9.0 ∧ R_hf3≤6.5 上限封顶 + 跟踪/右手约束
DG pass_D ∧ pass_G 默认规则;本子集即此

实际丢弃 100 ep:未过 D 的 48 条全部也未过 G;另有 52 条过了 D 但未过 G(多为 track / R_hf3 / rev@0.60 顶档)。 主因命中(可重叠):hf7>3.5×40 · R_hf3>6.5×38 · hf3>4.5×38 · rev>0.60×34 · track>9×33 · hf7/hf3×28 · rev>0.65×9。

4. 处理流程

01
扫描
逐 ep 读 parquet,算五指标 + pass 标记
02
筛选
DG 得 keep 列表;不改原始文件
03
划分
keep ∩ 原 train/val;保留原始 episode_index
04
落盘
过滤 meta;copy 保留 ep 的 parquet+mp4
05
norm
按 train 重算 q01/q99/mean/std(floor 0.2)

5. 清洗后规模

项源 30hz_fullclean_DG保留率
episodes 37627673.4%
frames 1,233,336948,65976.9%
train / val ep —261 / 15—
train frames —900,496—
fps · 维数 30 · state/action=24 · 视频仍 640×480(三路)
ep 保留
绿 = keep 276 · 其余 drop 100
帧保留
略高于 ep 比例 → 丢掉的偏短/毛 ep

6. 清洗前后指标对比

均值 / 中位(mrad 或 次/s)。保留集上限被规则截断;丢弃集整体更高。

指标 全库 mean保留 mean丢弃 mean 保留 p50保留 max规则上限
hf3 3.543.264.29 3.314.43≤4.5
hf7 2.292.023.04 1.963.47≤3.5
rev 0.4560.4300.529 0.4430.598≤0.60
track 6.335.718.03 5.588.85≤9.0
R_hf3 5.054.656.17 4.756.44≤6.5

7. 路径与训练

# 远程(实体完整包)
ad-cn-tcbj-engineer-ssrlab:/xiaoning.zhao/badminton/30hz_full_clean_DG/

# 下载
niofs copy ad-cn-tcbj-engineer-ssrlab:/xiaoning.zhao/badminton/30hz_full_clean_DG/ \
  /data/badminton651/merged/30hz_full_clean_DG/

# 本地再生成(实体拷贝)
python3 tools/make_jitter_clean_subset.py \
  --src /data/badminton651/merged/30hz_full \
  --dst /data/badminton651/merged/30hz_full_clean_DG \
  --rule DG --min-q-range 0.2 --materialize copy

# 训练要点
BADMINTON651_DATASET=.../30hz_full_clean_DG
BADMINTON651_ASSET_ID=badminton651          # 用数据集自带 norm
BADMINTON651_ACTION_HORIZON=30              # 30Hz → 1s