WEBVTT

1
00:00:00.000 --> 00:00:05.450
这期讲 DreamZero 训练前的离线数据准备：怎样把原始 DROID 转成 LeRobot，以及两种格式差在哪里。

2
00:00:05.500 --> 00:00:14.450
记住：离线只做一次，把干净轨迹落到磁盘；增广、归一化、相对动作和 tokenize，是训练每个 step 在线做的。

3
00:00:14.500 --> 00:00:23.950
DROID 一点零点一是大规模真机操作数据集，语言标注约七万五千条 episode。原始一点七 TB，预处理后大约一百三十一 GB。

4
00:00:24.000 --> 00:00:33.950
格式分三层：TFDS 管怎么读，RLDS 管轨迹字段长什么样，TFRecord 是 Length加Value 的二进制落盘格式，适合顺序读，不适合无索引的随机访问。

5
00:00:34.000 --> 00:00:44.950
转换前是 TFRecord 轨迹流，图像嵌在 step 里；转换后是 parquet 表格加每相机独立 mp4，再加 meta 元数据，更适合按时间戳抽帧训练。

6
00:00:45.000 --> 00:00:56.950
Pass 一在主进程筛数据：丢掉失败、无语言和纯 idle 的 episode，同时建立语言字符串到整数编号的词表，并登记保留下来的编号映射。

7
00:00:57.000 --> 00:01:09.950
Pass 二按 TFRecord 文件分片多进程写出。每个 worker 负责一个 shard：解码、裁 idle、写 parquet，再用 PyAV 在 CPU 上编三路 H.264 视频。

8
00:01:10.000 --> 00:01:19.950
最终目录包含 meta 下的 info、modality、tasks、episodes，以及按 chunk 组织的 parquet 与 mp4。训练时把 droid_data_root 指到这里即可。

9
00:01:20.000 --> 00:01:29.950
相对动作、q99、随机增广和 umt5 tokenize 故意不做离线固化，留给 dataloader，这样既可复用干净数据，又保留训练随机性。

10
00:01:30.000 --> 00:01:39.950
小结：离线是 CPU 上的一次性工程；格式从 TFRecord 轨迹流变为 parquet 加 mp4；多数人直接下载 HuggingFace 预处理包，不必自己转一点七 TB。
