G2 放球任务优化 · 数据清洗 · 2026-11-15
从 30hz_full 按抖动规则 D∩G 筛 episode,生成可直接训练的独立子集。
原始库只读;工具 tools/make_jitter_clean_subset.py。
30hz_full_clean_DG。每条 episode 读 parquet 的 action / observation.state,只取手臂 14 维(索引 8–21),fps=30。
hf3mrad
关节角轨迹 3–7.5Hz 带通 RMS(对称延拓 + FFT)。
↓ 越小越平滑 · 含真实快速动作 + 中频毛刺。
hf7mrad
同一轨迹 7.5–15Hz 段 RMS。
↓ 越小越好 · 更贴近锯齿 / 量化噪声;「hf7≈hf3」是抽搐形态。
rev次/s
|v|>0.02 rad/s 的速度符号翻转 ÷(关节·秒)。
↓ 越小越好 · 示范里整体很低;过高 = 来回拧。
trackmrad
action − state 的 RMS。
↓ 越小越好 · 遥操跟踪差 / 异常段。
R_hf3mrad
右手关节(ARM 后半)的 hf3。
↓ 越小越好 · 对应体感「右手抓球更毛」。
hf7 / hf3
高频占比。接近 1 = 频谱几乎全是毛刺。
规则 D 用 >0.85 且 hf3>4 抓「又大又尖」的 ep。
| 规则 | 逻辑 | 意图 |
|---|---|---|
| D 去抽搐向 | 丢掉:hf7>3.5,或 hf7/hf3>0.85 且 hf3>4.0,或 rev>0.65 |
去掉高频尖 / 换向异常 |
| G 实用保留 | 留下:hf3≤4.5 ∧ hf7≤3.5 ∧ rev≤0.60 ∧ track≤9.0 ∧ R_hf3≤6.5 |
上限封顶 + 跟踪/右手约束 |
| DG | pass_D ∧ pass_G |
默认规则;本子集即此 |
实际丢弃 100 ep:未过 D 的 48 条全部也未过 G;另有 52 条过了 D 但未过 G(多为 track / R_hf3 / rev@0.60 顶档)。 主因命中(可重叠):hf7>3.5×40 · R_hf3>6.5×38 · hf3>4.5×38 · rev>0.60×34 · track>9×33 · hf7/hf3×28 · rev>0.65×9。
file-000189 这类原始 ID;OpenPI 按 train_episodes.json 选集。--materialize symlink;上传训练机前用 copy 做成独立包(避免 symlink 空传)。CLEAN_MANIFEST.json、KEEP_EPISODES.json、openpi_assets/badminton651/norm_stats.json。| 项 | 源 30hz_full | clean_DG | 保留率 |
|---|---|---|---|
| episodes | 376 | 276 | 73.4% |
| frames | 1,233,336 | 948,659 | 76.9% |
| train / val ep | — | 261 / 15 | — |
| train frames | — | 900,496 | — |
| fps · 维数 | 30 · state/action=24 · 视频仍 640×480(三路) | ||
均值 / 中位(mrad 或 次/s)。保留集上限被规则截断;丢弃集整体更高。
| 指标 | 全库 mean | 保留 mean | 丢弃 mean | 保留 p50 | 保留 max | 规则上限 |
|---|---|---|---|---|---|---|
| hf3 | 3.54 | 3.26 | 4.29 | 3.31 | 4.43 | ≤4.5 |
| hf7 | 2.29 | 2.02 | 3.04 | 1.96 | 3.47 | ≤3.5 |
| rev | 0.456 | 0.430 | 0.529 | 0.443 | 0.598 | ≤0.60 |
| track | 6.33 | 5.71 | 8.03 | 5.58 | 8.85 | ≤9.0 |
| R_hf3 | 5.05 | 4.65 | 6.17 | 4.75 | 6.44 | ≤6.5 |
# 远程(实体完整包) ad-cn-tcbj-engineer-ssrlab:/xiaoning.zhao/badminton/30hz_full_clean_DG/ # 下载 niofs copy ad-cn-tcbj-engineer-ssrlab:/xiaoning.zhao/badminton/30hz_full_clean_DG/ \ /data/badminton651/merged/30hz_full_clean_DG/ # 本地再生成(实体拷贝) python3 tools/make_jitter_clean_subset.py \ --src /data/badminton651/merged/30hz_full \ --dst /data/badminton651/merged/30hz_full_clean_DG \ --rule DG --min-q-range 0.2 --materialize copy # 训练要点 BADMINTON651_DATASET=.../30hz_full_clean_DG BADMINTON651_ASSET_ID=badminton651 # 用数据集自带 norm BADMINTON651_ACTION_HORIZON=30 # 30Hz → 1s
DATASET_S3 指向上面的 niofs 前缀;horizon=30;不要用 50Hz 默认。