首页 / AI System Performance / AI Infra / 模型训练 / Dyna-2 数据处理

Dyna-2 数据处理流程:格式怎么变、为什么好读

基于 Training Dyna-2 at million-hour scale, repeatably (DYNA,2026-08)的数据侧整理。重点:离线写出 canonical MCAP、 数仓出 manifest、训练用 MCAP dataloader + 节点页缓存。 非官方译文;数字对照原文。

一句话。机上负责「采得稳」;离线 ingestion 把多模态流重采样、重编码, 落成按读模式切好 chunk 的 MCAP;元数据进数仓后, 每次实验用 SQL 秒级出列式 manifest;训练时按 manifest 热身 Alluxio, sampler 按 topic 组读 MCAP——不是 LeRobot / parquet 主路径。
采集 → landing ingestion → canonical MCAP warehouse → manifest Alluxio → MCAP read ≠ LeRobot 主格式

① 端到端数据生命周期

flowchart LR
  subgraph Robot["机器人 / 供应商"]
    R["多相机 + state + action
各自帧率"] end subgraph Land["Landing"] B["对象存储 bucket
近原始包"] end subgraph Ing["Ingestion 离线"] T["变换 / 质检 / 富化"] M["canonical MCAP
+ 元数据索引"] end subgraph Cur["Curation"] W["数仓 episodes 表"] F["列式 manifest 文件"] end subgraph Train["GPU 集群"] C["Alluxio NVMe 页缓存"] D["MCAP dataloader"] G["训练 step"] end R --> B --> T --> M M --> W --> F F --> C M -.->|字节| C C --> D --> G

图 1 · 四段式:落地 → 训前 episode → 实验清单 → batch。对应原文 Figure 1 的自绘版。

阶段 产物形态 解决什么
Landing 近原始(厂商格式 / 默认 MCAP / 其它) 先落盘,不挡采集
Ingestion canonical MCAP + DB/仓里的 episode 行 统一时间网格、编码、chunk 布局、质检与标签
Curation 列式 manifest(本 run 的 episode 集合与区间) 每次实验不同过滤,不再扫千万文件
Training I/O 节点 NVMe 上的 MCAP page 躲开云桶抖动;按 sample 触碰的 chunk 进驻

② 大 GOP / topic-group:机上做还是离线做?

结论。训练用的「大 GOP + topic-group chunking」写在 离线 ingestion 产出的 canonical MCAP 里。 机上优先稳采与可调试;不会按某次 WAM sample 的读模式去优化落盘。
flowchart TB
  subgraph OnRobot["机上 / 采集软件"]
    A1["写入策略:丢帧少、实时、易回放"]
    A2["常见:默认交错 topic
较小 GOP / JPEG / 厂商包"] end subgraph Offline["离线 Ingestion"] B1["重采样到统一时间网格"] B2["派生信号 + 质检 + caption 等"] B3["H.264 较大 GOP 重编码"] B4["按读模式 topic-group 重打包"] B5["写出 canonical MCAP
盖 schema / pipeline / 机器人软件版本戳"] end OnRobot --> Offline B5 --> Out["训练只认这层容器"]

图 2 · 采集格式 ≠ 训练容器。版本戳让「混合版本语料」可被 curation 按范围筛选、按需重跑。

③ 数据格式如何演变

flowchart LR
  subgraph Old["旧训练容器"]
    H5["H5"]
    JPG["逐帧 JPEG
无帧间压缩"] end subgraph New["新训练容器"] MCAP["MCAP 单文件多 topic"] H264["相机:H.264 流"] ST["state/action:数值消息"] IDX["索引 / 时间范围
写入元数据系统"] end Old -->|"体积大 · 难可视化"| New MCAP --- H264 MCAP --- ST MCAP --- IDX

图 3 · 从「逐帧图塞进表」到「容器内视频流 + 数值 topic」。体积相对 JPEG 基线约 −68%。

训练 sample 读什么(WAM)

  • 视频:少量 / 稀疏或一段连续帧
  • 本体感觉:很长窗口(对齐 action chunk)
  • 多模态帧率本就不齐 → 离线先对齐网格

存储要同时满足

  • 压得小(帧间编码)
  • 还能按时间戳取窗(索引 + GOP 代价可控)
  • 不对称读时少拖废字节(topic-group)

④ 默认 MCAP chunk vs Topic-group

默认 writer 按 log 时间把所有 topic 交错进共享 chunk。 取「几帧相机 + 很长 state」时,会把同 chunk 里无关 topic 一并读进 I/O。

flowchart TB
  subgraph Default["默认:混 topic chunk"]
    D1["chunk_k: camA · state · camB · action · …"]
    D2["读 state 长窗 → 捎上相机碎消息"]
    D3["读相机短窗 → 捎上 state"]
    D1 --> D2
    D1 --> D3
  end
  subgraph Grouped["Topic-group:按读模式分组"]
    G1["Group Video
camA ‖ camB … time-major"] G2["Group Proprio
state ‖ action … time-major"] G3["两组永不共 chunk"] G1 --- G3 G2 --- G3 G4["sampler 按组取 → 少 round-trip"] G3 --> G4 end

图 4 · chunking 只改写入顺序,不改编码体积。原文:约 3.4× 更少 chunk fetch → 读样本约 2.9× 快。

sequenceDiagram
  participant S as Sampler
  participant V as Video group chunks
  participant P as Proprio group chunks
  Note over S: 一个 training sample
  S->>V: 取时间窗内少量帧 / 短序列
  S->>P: 取更长 dense state/action 窗
  Note over V,P: 互不污染;组内加相机不再跨组多一跳
          

图 5 · 训练时的「MCAP dataloader」语义:按组、按时间窗装配 batch。

⑤ 离线 Ingestion 做什么

flowchart TB
  IN["Landing 原始包"] --> XF["Transformation"]
  XF --> QC["Quality check"]
  QC --> EN["Feature enrichment"]
  EN --> OUT["canonical MCAP + 元数据行"]

  subgraph XFDetail["变换细节"]
    X1["多路流 → 统一时间网格"]
    X2["派生信号"]
    X3["视频规范编码入 MCAP"]
    X4["建索引供 manifest 查询"]
  end
  XF -.-> XFDetail

  subgraph QCDetail["质检例子"]
    Q1["黑屏 / 坏帧"]
    Q2["关节跳变"]
    Q3["手部位姿丢失遮挡"]
  end
  QC -.-> QCDetail

  subgraph ENDetail["富化例子"]
    E1["成败 / 表现标签"]
    E2["video caption"]
    E3["segmentation 等"]
  end
  EN -.-> ENDetail
          

图 6 · Airflow DAG:步骤可按资源拆分、可标 critical/non-critical、可按 run profile 开关。 吞吐从约 1.4 万 → 44 万 episode-hours/周(错峰启动 + 按字节 bin-pack)。

⑥ Manifest:重构前后差在哪、为何能快这么多

把 Manifest 想成训练课表:本 run 要上哪些 episode、每段从哪一秒到哪一秒。 Batching、多 GPU 分片、一个 epoch 有多长,全靠这张表。 每次实验过滤条件不同(任务 / 机器人 / 成败 / 相机是否掉线…),所以几乎每次开训都要重建。 语料规模约 4300 万+ episode / 百万小时。

数字锚点。构建 + 各 rank 加载:约 48 小时 → <1 分钟。 下面拆成两半看:① 怎么把课表造出来;② 造好后怎么发到每个 GPU 进程。 这两半原来都慢,而且慢的原因不一样。

先建立直觉:课表里到底要什么字段

flowchart LR
  subgraph Need["manifest 每一行至少要"]
    A["episode 路径 / id"]
    B["质量 / 过滤标签
成败·相机掉线·任务…"] C["时间范围 start–stop"] D["步数 / 长度
用来算 epoch"] end Need --> Out["一张课表文件
训练进程只认它"]

图 7a · 这些字段在 ingestion 时其实已经算过;问题是旧路径没有当成可查询的表, 开训时又跑回对象存储「打开文件现挖」。

重构前:对每个 episode 去存储「问四遍」

元数据 DB 往往只给你一串候选路径。路径 ≠ 课表。 还要确认文件真在、质量位、时间范围、步数——原文写的是每个 episode 约 4 趟存储往返。

flowchart TB
  DB["DB:候选 path 列表
约 4300 万条"] --> E1 subgraph One["对【每一个】episode 重复"] direction LR E1["① 文件在不在?"] --> E2["② 读 sidecar
质量旗标"] E2 --> E3["③ 开 header
时间范围"] E3 --> E4["④ 再打开
数有多少 step"] end E4 --> MAN["拼成 manifest"] style One fill:transparent,stroke:#c45c26,stroke-width:2px

图 7b · 慢不是「SQL 慢」,是千万次小文件随机 I/O。

flowchart LR
  subgraph Math["数量级心算(帮助理解 48h)"]
    N["N ≈ 4.3×10⁷
episodes"] T["× 约 4 次往返"] L["× 每次网络/存储
延迟(毫秒~几十毫秒)"] N --> T --> L --> S["总时间 ∝ N
容易落到「很多小时」"] end

图 7c · 即使用并行 worker,仍受对象存储 QPS、尾延迟、元数据抖动限制; 而且每个新实验再付一遍——pretrain 付一次还能忍,调过滤条件天天付就炸。

旧路径像什么

图书馆目录上只有书名。每次编「本周阅读清单」都要: 跑到书库确认书在不在 → 翻封面看有没有污损标签 → 看目录页码 → 再数章节。 藏书 4300 万本时,编清单要两天。

为什么不能「多开机器硬扫」

瓶颈在对远端存储的随机小请求,不是缺 CPU。 机器加多了,更容易打爆桶的请求配额 / 尾延迟,墙钟不一定线性下降。

重构后:入库时写进「可扫的表」,开训只跑一条 SQL

事务库继续扛采集/标注的写入;旁边用 CDC 同步到数仓。 Curation 变成:扫几列、过滤、写出列式 manifest——不再打开那 4300 万个 MCAP。

flowchart TB
  subgraph Ingest["Ingestion 时已付过的成本(一次性)"]
    I1["写出 canonical MCAP"]
    I2["质量位 / 标签 / 时间范围 / 步数
写入 Production DB"] end I2 --> P["Production DB
事务 · 完整性"] P -->|"CDC 落后约秒级"| W["Data warehouse
列存 · 擅长扫几列"] W --> SQL["一条 SQL:
WHERE task=… AND ok=true …"] SQL --> MAN["秒级写出 columnar manifest"] Note1["开训不再去碰 episode 字节
只读仓里已经整理好的列"] SQL -.-> Note1

图 8a · 关键:把「挖字段」从每次开训挪到ingestion 写库; 开训只做分析型过滤。全表 >5000 万行,扫几列仍是几秒级。

flowchart LR
  subgraph Before["重构前 · 构建"]
    B1["按文件走"]
    B2["成本 ≈ 跟 episode 数涨"]
    B3["~ 48 小时"]
    B1 --> B2 --> B3
  end
  subgraph After["重构后 · 构建"]
    A1["按表走"]
    A2["成本 ≈ 跟「扫的列」相关
几乎不再跟 N 爬文件"] A3["几秒~远小于 1 分钟"] A1 --> A2 --> A3 end Before -.->|"同一张课表语义"| After

图 8b · 复杂度从「N 次打开文件」变成「一次列式扫描」。这是提速几个数量级的主因。

另一半:课表造好了,怎么发到每个 rank(加载)

百万小时时,即便构建变快,加载仍可能炸:节点 CPU RAM 约 2TB, 若每个 rank 都把整份 manifest 读进内存,会超限;列式文件若放在网络挂载上, footer-first / 乱 seek 对高延迟文件系统几乎是最差访问模式。

flowchart TB
  subgraph LoadOld["加载 · 重构前的痛"]
    O1["网络挂载上的列式文件"]
    O2["每 rank 自己读"]
    O3["整表物化进内存再切分"]
    O1 --> O2 --> O3
    O4["结果:慢 + 可能 OOM"]
    O3 --> O4
  end
  subgraph LoadNew["加载 · 三件套必须一起上"]
    N1["① 单 rank:对象存储 API
并行整文件拉到节点本地盘"] N2["② 全体 rank:mmap 本地副本
文件留盘,用到的页才进内存"] N3["③ 每 rank 零拷贝切自己的 1/N 行"] N1 --> N2 --> N3 N4["结果:秒级 · 内存可控"] N3 --> N4 end

图 8c · mmap 只有在「文件已在本地」时才值钱;所以下载与 map 是一套开关,不是两个独立优化。

为什么能从约 48h 到 <1min:把乘数拆开

原来慢在哪 重构怎么拆掉 数量级直觉
每个 episode 多次打开远端文件挖字段 字段在 ingestion 已进仓;开训只 SQL 去掉 O(N) 文件 I/O → 构建从「天」到「秒」
事务库不擅长全表扫几列 OLTP / OLAP 拆开,CDC 同步 分析查询可水平扩展;>5e7 行仍秒级
每个实验重复付「爬文件」税 爬文件税变成一次性入库;实验只付过滤 迭代次数 ↑ 时收益叠加
各 rank 重复读网络挂载 + 整表进内存 下一份到本地 + mmap + 按 rank 切片 加载从「分钟且易 OOM」到「秒级」
flowchart TB
  subgraph Why["提速不是单一技巧,是两段瓶颈都被拆掉"]
    W1["构建:不靠扫盘
靠仓里已有列"] W2["加载:不靠每人读挂载
靠一份本地 mmap"] W1 --> Tot["墙钟:~48h → <1min"] W2 --> Tot end

图 8d · 原文强调:变的不只是常数,是成本不再跟着 episode 数去爬文件。 全表 curation 几秒返回;加载另计,用图 8c 的三件套解决。

和 Parquet / 列式的关系。 Manifest 是课表(列式清单),描述「读哪些 MCAP、哪段」——不是把视频像素存进表。 列式适合「一次读某几列」;但若文件还在高延迟网络挂载上,footer 乱跳反而更惨, 所以要先整文件落到本地再 mmap。

⑦ 训练时怎么读字节

flowchart LR
  Cloud["云对象存储
权威 MCAP 语料 · PB 级"] Orch["编排服务
按 manifest 热身"] Cache["Alluxio
按 page 缓存到 GPU 节点 NVMe
path hash 分片所有权"] DL["MCAP dataloader
按 topic-group 取窗"] GPU["GPU 训练"] Cloud --> Orch --> Cache --> DL --> GPU Cloud -.->|miss 回源| Cache

图 9 · 不整库拷到每个多云集群。单连接直读桶约 200 MB/s;缓存侧约 2 GB/s/节点。 Topic-group 让每个 sample 触碰的 page 更少 → 同等 NVMe 覆盖更多 episode。

flowchart TB
  M["mmap 后的 manifest 切片"] --> Pick["选 episode_id + 时间窗"]
  Pick --> Open["打开对应 MCAP
优先命中本地 page"] Open --> VG["读 Video group chunks
解码 H.264 所需帧"] Open --> PG["读 Proprio group chunks
稠密 state/action"] VG --> Batch["拼成 training sample"] PG --> Batch

图 10 · 训练主路径就是 MCAP 读路径;manifest 只解决「读谁」,不替代容器。

⑧ 为什么这样方便 Manifest 与训练读取

设计点 对 Manifest / 组织 对训练读取
离线成 canonical MCAP 每条 episode 路径稳定;schema/pipeline 版本可进仓字段 loader 只认一种容器;编码/chunk 与读模式匹配
时间网格 + 索引进仓 SQL 直接带 start/stop、质检位、标签,不必再开文件数步数 sampler 用清单里的区间,少做「打开试探」
Topic-group chunking (不直接改清单) 不对称多模态读少拖废字节;缓存页更准
大 GOP(相对 WAM) — 长连续读摊薄 keyframe;体积约 −68% 也减轻缓存压力
仓 + 列式 manifest + mmap 实验过滤秒级;成本不再 ∝ episode 数爬盘 各 rank 内存可控;启动不再卡在清单
Alluxio page cache 按 manifest 预热 working set 稳态 I/O 可预期;多云配置可对齐
mindmap
  root((方便之处))
    元数据与字节分离
      仓负责选片
      MCAP 负责装样本
    按读模式落盘
      组内 time-major
      少无效 I/O
    清单可查询
      SQL 过滤
      版本戳局部重跑
    读路径可缓存
      page 而非整文件
      与 chunk 边界对齐
          

图 11 · 设计轴心:选片走分析库,取字节走按读模式切好的容器 + 页缓存。

⑨ 和 LeRobot(parquet + mp4)对照

Dyna 训练主路径 开源常见 LeRobot
Episode 载体 单一 MCAP parquet(数值)+ 多路 mp4
模态分离手段 容器内 topic-group chunk 文件拆分(表 / 视频目录)
百万小时选片 数仓 SQL → 列式 manifest 常靠 meta jsonl / 扫目录(规模大了同样要仓化)
Dataloader MCAP 按组取窗 读 parquet 行 + 按时间戳抽 mp4
适用感 内源大规模、运维/可视化贴 MCAP 生态 开源发布、HF 生态、中小规模友好

两者都在解决「多模态不对称读 + 压缩 vs 随机访问」; Dyna 用同文件内重组 chunk,LeRobot 用跨文件拆分。 DreamZero / NeuroVLA 演示数据走 LeRobot;这篇 Dyna-2 基础设施文的训练主格式是 MCAP。

参考