DROID 离线数据准备
约 1 分 40 秒讲解视频。讲清 DreamZero 训练前如何把 DROID 1.0.1(RLDS/TFDS)转成 LeRobot, Pass 1 / Pass 2 做什么,以及 TFRecord 与 parquet+mp4 的格式差异。
视频约 1.3MB / 100 秒;也可 下载 mp4 / 字幕 vtt。
一句话。离线转换是一次性 CPU 工程:筛质量 → 建词表 → 按 TFRecord shard 并行写出;
训练每个 step 的增广 / 归一化 / tokenize 仍在线做。
格式差异
- TFDS:数据集 SDK + 目录约定,负责按 split / shard 读取。
- RLDS:轨迹 schema(steps、observation、action、reward、语言等)。
- TFRecord:Length+Value 二进制记录流,适合顺序读,弱随机访问。
-
LeRobot v2:parquet(状态/动作/语言索引)+ 每相机独立 mp4 +
meta/(info、modality、tasks、episodes)。
Pass 1:筛 episode + 建词表
- 可选丢掉失败 episode(reward 全 0)
- 丢掉无有效语言标注的轨迹
- 丢掉
keep_ranges为空的纯 idle 轨迹 - 建立
all_tasks:语言字符串 →task_index - 建立
kept_registry:原全局下标 → 新连续 episode 编号
Pass 2:按 shard 多进程写出
- 这里的 shard = 一个 TFRecord 文件分片
- 每个 worker:解码图像 → 按 idle 区间裁帧 → 写 parquet → PyAV CPU H.264 编三路视频
- 默认
-n 16进程;全程 CPU,不用 GPU
数据量与子集
- 原始 DROID 1.0.1 ≈ 1.7TB;DreamZero 预处理包 ≈ 131GB
- 自转可用
--first-n N只转前 N 个 shard - 训练可用
dataset_shard_sampling_rate降低采样密度
相关:
DreamZero 论文中文译本
· 脚本
scripts/data/convert_droid.py