Dyna-2 数据处理流程:格式怎么变、为什么好读
基于 Training Dyna-2 at million-hour scale, repeatably (DYNA,2026-08)的数据侧整理。重点:离线写出 canonical MCAP、 数仓出 manifest、训练用 MCAP dataloader + 节点页缓存。 非官方译文;数字对照原文。
① 端到端数据生命周期
flowchart LR
subgraph Robot["机器人 / 供应商"]
R["多相机 + state + action
各自帧率"]
end
subgraph Land["Landing"]
B["对象存储 bucket
近原始包"]
end
subgraph Ing["Ingestion 离线"]
T["变换 / 质检 / 富化"]
M["canonical MCAP
+ 元数据索引"]
end
subgraph Cur["Curation"]
W["数仓 episodes 表"]
F["列式 manifest 文件"]
end
subgraph Train["GPU 集群"]
C["Alluxio NVMe 页缓存"]
D["MCAP dataloader"]
G["训练 step"]
end
R --> B --> T --> M
M --> W --> F
F --> C
M -.->|字节| C
C --> D --> G
图 1 · 四段式:落地 → 训前 episode → 实验清单 → batch。对应原文 Figure 1 的自绘版。
| 阶段 | 产物形态 | 解决什么 |
|---|---|---|
| Landing | 近原始(厂商格式 / 默认 MCAP / 其它) | 先落盘,不挡采集 |
| Ingestion | canonical MCAP + DB/仓里的 episode 行 | 统一时间网格、编码、chunk 布局、质检与标签 |
| Curation | 列式 manifest(本 run 的 episode 集合与区间) | 每次实验不同过滤,不再扫千万文件 |
| Training I/O | 节点 NVMe 上的 MCAP page | 躲开云桶抖动;按 sample 触碰的 chunk 进驻 |
② 大 GOP / topic-group:机上做还是离线做?
flowchart TB
subgraph OnRobot["机上 / 采集软件"]
A1["写入策略:丢帧少、实时、易回放"]
A2["常见:默认交错 topic
较小 GOP / JPEG / 厂商包"]
end
subgraph Offline["离线 Ingestion"]
B1["重采样到统一时间网格"]
B2["派生信号 + 质检 + caption 等"]
B3["H.264 较大 GOP 重编码"]
B4["按读模式 topic-group 重打包"]
B5["写出 canonical MCAP
盖 schema / pipeline / 机器人软件版本戳"]
end
OnRobot --> Offline
B5 --> Out["训练只认这层容器"]
图 2 · 采集格式 ≠ 训练容器。版本戳让「混合版本语料」可被 curation 按范围筛选、按需重跑。
③ 数据格式如何演变
flowchart LR
subgraph Old["旧训练容器"]
H5["H5"]
JPG["逐帧 JPEG
无帧间压缩"]
end
subgraph New["新训练容器"]
MCAP["MCAP 单文件多 topic"]
H264["相机:H.264 流"]
ST["state/action:数值消息"]
IDX["索引 / 时间范围
写入元数据系统"]
end
Old -->|"体积大 · 难可视化"| New
MCAP --- H264
MCAP --- ST
MCAP --- IDX
图 3 · 从「逐帧图塞进表」到「容器内视频流 + 数值 topic」。体积相对 JPEG 基线约 −68%。
训练 sample 读什么(WAM)
- 视频:少量 / 稀疏或一段连续帧
- 本体感觉:很长窗口(对齐 action chunk)
- 多模态帧率本就不齐 → 离线先对齐网格
存储要同时满足
- 压得小(帧间编码)
- 还能按时间戳取窗(索引 + GOP 代价可控)
- 不对称读时少拖废字节(topic-group)
④ 默认 MCAP chunk vs Topic-group
默认 writer 按 log 时间把所有 topic 交错进共享 chunk。 取「几帧相机 + 很长 state」时,会把同 chunk 里无关 topic 一并读进 I/O。
flowchart TB
subgraph Default["默认:混 topic chunk"]
D1["chunk_k: camA · state · camB · action · …"]
D2["读 state 长窗 → 捎上相机碎消息"]
D3["读相机短窗 → 捎上 state"]
D1 --> D2
D1 --> D3
end
subgraph Grouped["Topic-group:按读模式分组"]
G1["Group Video
camA ‖ camB … time-major"]
G2["Group Proprio
state ‖ action … time-major"]
G3["两组永不共 chunk"]
G1 --- G3
G2 --- G3
G4["sampler 按组取 → 少 round-trip"]
G3 --> G4
end
图 4 · chunking 只改写入顺序,不改编码体积。原文:约 3.4× 更少 chunk fetch → 读样本约 2.9× 快。
sequenceDiagram
participant S as Sampler
participant V as Video group chunks
participant P as Proprio group chunks
Note over S: 一个 training sample
S->>V: 取时间窗内少量帧 / 短序列
S->>P: 取更长 dense state/action 窗
Note over V,P: 互不污染;组内加相机不再跨组多一跳
图 5 · 训练时的「MCAP dataloader」语义:按组、按时间窗装配 batch。
⑤ 离线 Ingestion 做什么
flowchart TB
IN["Landing 原始包"] --> XF["Transformation"]
XF --> QC["Quality check"]
QC --> EN["Feature enrichment"]
EN --> OUT["canonical MCAP + 元数据行"]
subgraph XFDetail["变换细节"]
X1["多路流 → 统一时间网格"]
X2["派生信号"]
X3["视频规范编码入 MCAP"]
X4["建索引供 manifest 查询"]
end
XF -.-> XFDetail
subgraph QCDetail["质检例子"]
Q1["黑屏 / 坏帧"]
Q2["关节跳变"]
Q3["手部位姿丢失遮挡"]
end
QC -.-> QCDetail
subgraph ENDetail["富化例子"]
E1["成败 / 表现标签"]
E2["video caption"]
E3["segmentation 等"]
end
EN -.-> ENDetail
图 6 · Airflow DAG:步骤可按资源拆分、可标 critical/non-critical、可按 run profile 开关。 吞吐从约 1.4 万 → 44 万 episode-hours/周(错峰启动 + 按字节 bin-pack)。
⑥ Manifest:重构前后差在哪、为何能快这么多
把 Manifest 想成训练课表:本 run 要上哪些 episode、每段从哪一秒到哪一秒。 Batching、多 GPU 分片、一个 epoch 有多长,全靠这张表。 每次实验过滤条件不同(任务 / 机器人 / 成败 / 相机是否掉线…),所以几乎每次开训都要重建。 语料规模约 4300 万+ episode / 百万小时。
先建立直觉:课表里到底要什么字段
flowchart LR
subgraph Need["manifest 每一行至少要"]
A["episode 路径 / id"]
B["质量 / 过滤标签
成败·相机掉线·任务…"]
C["时间范围 start–stop"]
D["步数 / 长度
用来算 epoch"]
end
Need --> Out["一张课表文件
训练进程只认它"]
图 7a · 这些字段在 ingestion 时其实已经算过;问题是旧路径没有当成可查询的表, 开训时又跑回对象存储「打开文件现挖」。
重构前:对每个 episode 去存储「问四遍」
元数据 DB 往往只给你一串候选路径。路径 ≠ 课表。 还要确认文件真在、质量位、时间范围、步数——原文写的是每个 episode 约 4 趟存储往返。
flowchart TB DB["DB:候选 path 列表
约 4300 万条"] --> E1 subgraph One["对【每一个】episode 重复"] direction LR E1["① 文件在不在?"] --> E2["② 读 sidecar
质量旗标"] E2 --> E3["③ 开 header
时间范围"] E3 --> E4["④ 再打开
数有多少 step"] end E4 --> MAN["拼成 manifest"] style One fill:transparent,stroke:#c45c26,stroke-width:2px
图 7b · 慢不是「SQL 慢」,是千万次小文件随机 I/O。
flowchart LR
subgraph Math["数量级心算(帮助理解 48h)"]
N["N ≈ 4.3×10⁷
episodes"]
T["× 约 4 次往返"]
L["× 每次网络/存储
延迟(毫秒~几十毫秒)"]
N --> T --> L --> S["总时间 ∝ N
容易落到「很多小时」"]
end
图 7c · 即使用并行 worker,仍受对象存储 QPS、尾延迟、元数据抖动限制; 而且每个新实验再付一遍——pretrain 付一次还能忍,调过滤条件天天付就炸。
旧路径像什么
图书馆目录上只有书名。每次编「本周阅读清单」都要: 跑到书库确认书在不在 → 翻封面看有没有污损标签 → 看目录页码 → 再数章节。 藏书 4300 万本时,编清单要两天。
为什么不能「多开机器硬扫」
瓶颈在对远端存储的随机小请求,不是缺 CPU。 机器加多了,更容易打爆桶的请求配额 / 尾延迟,墙钟不一定线性下降。
重构后:入库时写进「可扫的表」,开训只跑一条 SQL
事务库继续扛采集/标注的写入;旁边用 CDC 同步到数仓。 Curation 变成:扫几列、过滤、写出列式 manifest——不再打开那 4300 万个 MCAP。
flowchart TB
subgraph Ingest["Ingestion 时已付过的成本(一次性)"]
I1["写出 canonical MCAP"]
I2["质量位 / 标签 / 时间范围 / 步数
写入 Production DB"]
end
I2 --> P["Production DB
事务 · 完整性"]
P -->|"CDC 落后约秒级"| W["Data warehouse
列存 · 擅长扫几列"]
W --> SQL["一条 SQL:
WHERE task=… AND ok=true …"]
SQL --> MAN["秒级写出 columnar manifest"]
Note1["开训不再去碰 episode 字节
只读仓里已经整理好的列"]
SQL -.-> Note1
图 8a · 关键:把「挖字段」从每次开训挪到ingestion 写库; 开训只做分析型过滤。全表 >5000 万行,扫几列仍是几秒级。
flowchart LR
subgraph Before["重构前 · 构建"]
B1["按文件走"]
B2["成本 ≈ 跟 episode 数涨"]
B3["~ 48 小时"]
B1 --> B2 --> B3
end
subgraph After["重构后 · 构建"]
A1["按表走"]
A2["成本 ≈ 跟「扫的列」相关
几乎不再跟 N 爬文件"]
A3["几秒~远小于 1 分钟"]
A1 --> A2 --> A3
end
Before -.->|"同一张课表语义"| After
图 8b · 复杂度从「N 次打开文件」变成「一次列式扫描」。这是提速几个数量级的主因。
另一半:课表造好了,怎么发到每个 rank(加载)
百万小时时,即便构建变快,加载仍可能炸:节点 CPU RAM 约 2TB, 若每个 rank 都把整份 manifest 读进内存,会超限;列式文件若放在网络挂载上, footer-first / 乱 seek 对高延迟文件系统几乎是最差访问模式。
flowchart TB
subgraph LoadOld["加载 · 重构前的痛"]
O1["网络挂载上的列式文件"]
O2["每 rank 自己读"]
O3["整表物化进内存再切分"]
O1 --> O2 --> O3
O4["结果:慢 + 可能 OOM"]
O3 --> O4
end
subgraph LoadNew["加载 · 三件套必须一起上"]
N1["① 单 rank:对象存储 API
并行整文件拉到节点本地盘"]
N2["② 全体 rank:mmap 本地副本
文件留盘,用到的页才进内存"]
N3["③ 每 rank 零拷贝切自己的 1/N 行"]
N1 --> N2 --> N3
N4["结果:秒级 · 内存可控"]
N3 --> N4
end
图 8c · mmap 只有在「文件已在本地」时才值钱;所以下载与 map 是一套开关,不是两个独立优化。
为什么能从约 48h 到 <1min:把乘数拆开
| 原来慢在哪 | 重构怎么拆掉 | 数量级直觉 |
|---|---|---|
| 每个 episode 多次打开远端文件挖字段 | 字段在 ingestion 已进仓;开训只 SQL | 去掉 O(N) 文件 I/O → 构建从「天」到「秒」 |
| 事务库不擅长全表扫几列 | OLTP / OLAP 拆开,CDC 同步 | 分析查询可水平扩展;>5e7 行仍秒级 |
| 每个实验重复付「爬文件」税 | 爬文件税变成一次性入库;实验只付过滤 | 迭代次数 ↑ 时收益叠加 |
| 各 rank 重复读网络挂载 + 整表进内存 | 下一份到本地 + mmap + 按 rank 切片 | 加载从「分钟且易 OOM」到「秒级」 |
flowchart TB
subgraph Why["提速不是单一技巧,是两段瓶颈都被拆掉"]
W1["构建:不靠扫盘
靠仓里已有列"]
W2["加载:不靠每人读挂载
靠一份本地 mmap"]
W1 --> Tot["墙钟:~48h → <1min"]
W2 --> Tot
end
图 8d · 原文强调:变的不只是常数,是成本不再跟着 episode 数去爬文件。 全表 curation 几秒返回;加载另计,用图 8c 的三件套解决。
⑦ 训练时怎么读字节
flowchart LR Cloud["云对象存储
权威 MCAP 语料 · PB 级"] Orch["编排服务
按 manifest 热身"] Cache["Alluxio
按 page 缓存到 GPU 节点 NVMe
path hash 分片所有权"] DL["MCAP dataloader
按 topic-group 取窗"] GPU["GPU 训练"] Cloud --> Orch --> Cache --> DL --> GPU Cloud -.->|miss 回源| Cache
图 9 · 不整库拷到每个多云集群。单连接直读桶约 200 MB/s;缓存侧约 2 GB/s/节点。 Topic-group 让每个 sample 触碰的 page 更少 → 同等 NVMe 覆盖更多 episode。
flowchart TB M["mmap 后的 manifest 切片"] --> Pick["选 episode_id + 时间窗"] Pick --> Open["打开对应 MCAP
优先命中本地 page"] Open --> VG["读 Video group chunks
解码 H.264 所需帧"] Open --> PG["读 Proprio group chunks
稠密 state/action"] VG --> Batch["拼成 training sample"] PG --> Batch
图 10 · 训练主路径就是 MCAP 读路径;manifest 只解决「读谁」,不替代容器。
⑧ 为什么这样方便 Manifest 与训练读取
| 设计点 | 对 Manifest / 组织 | 对训练读取 |
|---|---|---|
| 离线成 canonical MCAP | 每条 episode 路径稳定;schema/pipeline 版本可进仓字段 | loader 只认一种容器;编码/chunk 与读模式匹配 |
| 时间网格 + 索引进仓 | SQL 直接带 start/stop、质检位、标签,不必再开文件数步数 | sampler 用清单里的区间,少做「打开试探」 |
| Topic-group chunking | (不直接改清单) | 不对称多模态读少拖废字节;缓存页更准 |
| 大 GOP(相对 WAM) | — | 长连续读摊薄 keyframe;体积约 −68% 也减轻缓存压力 |
| 仓 + 列式 manifest + mmap | 实验过滤秒级;成本不再 ∝ episode 数爬盘 | 各 rank 内存可控;启动不再卡在清单 |
| Alluxio page cache | 按 manifest 预热 working set | 稳态 I/O 可预期;多云配置可对齐 |
mindmap
root((方便之处))
元数据与字节分离
仓负责选片
MCAP 负责装样本
按读模式落盘
组内 time-major
少无效 I/O
清单可查询
SQL 过滤
版本戳局部重跑
读路径可缓存
page 而非整文件
与 chunk 边界对齐
图 11 · 设计轴心:选片走分析库,取字节走按读模式切好的容器 + 页缓存。
⑨ 和 LeRobot(parquet + mp4)对照
| Dyna 训练主路径 | 开源常见 LeRobot | |
|---|---|---|
| Episode 载体 | 单一 MCAP | parquet(数值)+ 多路 mp4 |
| 模态分离手段 | 容器内 topic-group chunk | 文件拆分(表 / 视频目录) |
| 百万小时选片 | 数仓 SQL → 列式 manifest | 常靠 meta jsonl / 扫目录(规模大了同样要仓化) |
| Dataloader | MCAP 按组取窗 | 读 parquet 行 + 按时间戳抽 mp4 |
| 适用感 | 内源大规模、运维/可视化贴 MCAP 生态 | 开源发布、HF 生态、中小规模友好 |
两者都在解决「多模态不对称读 + 压缩 vs 随机访问」; Dyna 用同文件内重组 chunk,LeRobot 用跨文件拆分。 DreamZero / NeuroVLA 演示数据走 LeRobot;这篇 Dyna-2 基础设施文的训练主格式是 MCAP。
参考
- DYNA Robotics, Training Dyna-2 at million-hour scale, repeatably
- MCAP · Alluxio
- 本站相关: DROID → LeRobot 离线准备 · DreamZero 导读