Dyna-2 导读:百万小时 World-Action 缩放律
读 Dyna-2: A 1-Million-Hour Scaling Law for World-Action Models (DYNA Robotics,2026-08)时的结构化笔记。非官方译文,版权归原作者;图、表与视频请到原文查看。
1. 一句话与三条结论
Dyna-2 是一个 World-Action Model(WAM):在视频扩散骨干上,用 flow matching 同时学「未来视频」和「未来动作块」。预训练只吃第一人称人类操作视频,规模到 超过 100 万小时(文中称约 170 年清醒经验)。作者要回答的不是「再训一个更强的机器人策略」,而是:
- 机器人预训练该用什么数据源?
- 把该数据源放大,会不会出现机器人侧的缩放律?
- 要出现跨本体迁移,建模目标和数据配方必须怎样选?
文中给出的三条主结论:
- 人类数据上存在 WAM 缩放律:1k → 10k → 100k → 1M 小时嵌套子集上,held-out 人类动作预测单调变好,并可用幂律拟合。
- 首次报告 human→robot 跨本体迁移缩放律:预训练从未见过任何机器人轨迹,但在 39 个机器人任务离线评测上,指标仍随人类数据量单调提升;约在 10k→100k 小时出现拐点。
- 世界建模 / 视频共训是迁移出现的关键:只训 action 不行;joint 优于 action-only;固定动作标注量、只加视频数据时,机器人侧仍单调变好——视频本身成为新的缩放轴。
封面马赛克与曲线见原文 Figure 1–2。
2. 架构与训练目标
结构是 mixture-of-transformers:视频、动作各自 tokenization,各自有一套 DiT 层,再通过注意力互看; 本体感觉(proprio)直接喂给动作侧。文本经 cross-attn 进视频侧,不直接打进动作 token。 视频侧用因果 mask;动作侧双向自注意力,并 attend 到已观测上下文的视频 token。
flowchart TB instr["语言指令"] --> textEnc["Text encoder"] textEnc -->|"cross-attn"| vid["Video DiT
因果 mask"] ctx["上下文帧"] --> vid noiseZ["噪声化未来视频 z_t"] --> vid prop["Proprio"] --> act["Action DiT
双向 + 看视频"] noiseA["噪声化动作块 a_t"] --> act vid -->|"early layers 汇合"| act vid --> lossV["视频 velocity MSE"] act --> lossA["动作 velocity MSE"]
自绘示意,对应原文 Figure 3。 设计取舍:早期探测发现 DiT 式视频扩散的时间推理多在浅层,于是动作 transformer 做浅、并较早接入视频流,换实时延迟。
训练用 flow matching。条件 c = 过去帧 + proprio + 语言;对未来视频 latent
z 与动作块 a 各自沿直线路径加噪,网络预测 velocity。缩放律实验用的变体是
co-training:共享 trunk,但视频与动作拟合为两个边缘 velocity 场——
L_co = E‖u_vid(z_t; t, c) − (z − ε_z)‖²
+ λ E‖u_act(a_t; t, c) − (a − ε_a)‖²
关键点:u_act 不以 z_t 为输入。视频损失可以塑造共享表征,
但推理时策略保持 reactive——既不生成、也不 attend 预测的未来视频。
3. 数据与评测指标
预训练语料:头戴式、第一人称日常操作(做饭、整理、折叠、装配等),经清洗与手部姿态抽取。 通过质量门的片段有 3D 手部轨迹;伪动作监督来自腕部位姿(EE 轨迹)和拇指–食指孔径导出的连续 grasp。 刻意不做缩小视觉/运动学差距的 embodiment-specific 处理——实验变量只留「小时数」。
嵌套子集:精确 1,000 / 10,000 / 100,000 / 1,000,000 小时,各数据源比例固定;更大预算只追加、不置换。 人类 held-out 固定 100 小时验证集。算力与模型尺寸缩放留待后续。样本马赛克见原文 Figure 4。
指标故意用连续误差 + 阈值准确率,避免非线性指标制造「涌现幻觉」:
| 指标 | 含义(导读概括) |
|---|---|
| MSE / L1 | 动作块上对维度与时间求平均的连续误差 |
| accuracy@0.5 | 归一化动作空间内,整步所有维度都落在 τ=0.5 内的时间步比例;偏「运动意图」,适合同看跨本体迁移 |
| accuracy@0.1 | 更严阈值;偏精度,更像同本体(人→人)趋势 |
4. 缩放律:人 → 人,再人 → 机
4.1 人类 held-out
四档数据、晚期窗口 10 个 checkpoint 取均值与标准差。四个指标都单调,且都能用对小时数的幂律描述。 文中强调:这是真实操作数据上验到 100 万小时的缩放律;架构能吃到百万小时量级仍在改善。 曲线见原文 Figure 5 (例:acc@0.1 跨档约 +51%,MSE 约 −12%)。
4.2 零样本机器人离线评测
同一批人类-only 预训练 checkpoint,直接评测从未见过的机器人数据:39 任务、两套双臂 YAM 平台 (内部 12 + xdof ABC 27)。任务覆盖布料、打结、装箱、清洁、餐饮、装配等。 所有指标随人类预训练小时数单调;10k→100k 有明显拐点。任务画廊与曲线见 Figure 6–7。
4.3 后训练上真机
四档预训练各取步数对齐的 checkpoint,在相同的 14 个内部基准任务上后训练; 每任务最多约 10 小时机器人数据。不做 human–robot 对齐或共训—— 只想量「预训练规模」本身带来的增益。
平台覆盖:双臂平行夹爪 YAM、同一臂配 WUJI-2 五指手、以及半人形原型上的语言取物。
| 预训练人类小时 | 14 任务均值归一化分数(相对任务天花板) |
|---|---|
| 1k | 20% |
| 10k | 28% |
| 100k | 45% |
| 1M | 53%(总体最强;14 任务中 9 个最优) |
几个值得对照原文条形图的点(Figure 8–9):
- Lockbox Key Turning:≤100k 小时成功率 0;1M 小时到 90%——像有「可解阈值」。
- Bottle Cap Untwisting:后训练大约只要 10 分钟遥操作;成功率随预训练从约 10% 升到 40–50%。
- Targeted Drink Retrieval(语言):58% → 83%。
5. 什么让跨本体缩放律出现:视频
固定「有手势标注」的人类视频量,变训练配方(5k / 50k / 100k 动作小时档):
- action-only:只有动作损失,无世界建模
- joint:同一批数据上同时预测动作块与未来视频
- video co-training:joint + 再加等量无动作标签的人类视频做视频预测
在 39 任务零样本机器人评测上:任意未来预测都大幅优于 action-only;joint 在每一档上都赢过全部 39 任务。 action-only 随数据放大过拟合且不稳定;joint 过拟合更轻但也不随数据继续涨。 只有加上大量 video-only 共训后,趋势才随数据变好——且小规模(5k)未必有利,规模越大差距越明显。见 Figure 10。
再固定动作标注量(50k 或 250k),只放大 video-only 小时数:机器人侧零样本单调改善; 人类 held-out 上视频缩放几乎无益、甚至略伤——作者猜测视频梯度稀释了动作学习,同本体评估时动作数据已够。 见 Figure 11–12。
6. 其它能力(生产向 Dyna-2)
这一节多在「生产」配方上测,与纯缩放律梯子的训练配方不完全相同;作者认为结论大体可迁移。
6.1 WAM vs VLA(苹果对苹果)
早期 Dyna-2(WAM)对 Dyna-1(VLA,自 Qwen3-VL-4B 初始化的 mixture-of-transformers 动作头)。 同一套前后训练数据与超参;每个架构从 3 个不同预训练 checkpoint 出发后训练,去掉选点偏差。 作者强调这对 WAM 偏不利:尚无 1M 小时预训练、全程偏 action-only,且数据/超参流水线本为 VLA 调好。
- 汇总:WAM 成功率约 1.55× VLA,grade 约 1.12×
- 逐对:WAM 赢 65%,VLA 赢 29%,平 6%(VLA 胜多在最早预训练点)
定性上切菜更均匀、抗干扰更强(改光、遮摄像头、人把菜叶放回砧板仍清台)。见 Figure 13 与文中视频。
6.2 零样本客户现场
同一后训练预算、未见部署现场数据。室内评测两者都接近 100% 产线质量; 客户现场按质量 / 吞吐 / 可靠性验收:Dyna-1 约 46%,Dyna-2 约 87%(+41 pt)。 见 Figure 14。
6.3 指令跟随
固定场景改指令:推/拉积木、五选一装箱、红黄叠块方向、餐巾多种原语。 early corpus 上 action-only → video co-train:总分约 0.35 → 0.67; 全量 Dyna-2 语料 video co-train → 约 0.96(n=36)。见 Figure 15。
6.4 单步视频生成
把视频生成器蒸馏成 one-step student,time-to-latents 约 90× 加速 (H100 上 3 秒三视角操作视频:约 10,203 ms → 110 ms)。 动机:普通回归一步会糊到条件均值;分布匹配一步又容易跑出教师 score 支持域——视频维度更高时更糟。 他们把问题做成「学生追移动靶」的控制:目标分布沿路径前进,只在学生追上时再往数据挪。
| Sampler | NFE | ms | Speedup | FVD ↓ | Motion ↑ | Flicker |
|---|---|---|---|---|---|---|
| Teacher 默认 | 100 | 10203 | 1× | 80 | 94% | 2.69 |
| Teacher 截到 1 步 | 2 | 210 | 48.6× | 1039 | 27% | 15.81 |
| DMD2 1 步 | 1 | 109 | 93.6× | 599 | 56% | 5.81 |
| Ours 1 步 | 1 | 110 | 93× | 121 | 75% | 1.94 |
数字摘自原文对照表;样例生成见 Figure 16–18。
7. 怎么读原文
- 先扫 §1–§2 :问题链条 + WAM 是否 reactive。
- 精读 §3 :嵌套小时梯子、Figure 5/7/8、以及 Figure 10–12 的消融——这是文章真正的贡献核。
- §4 当「产品能力附录」:客户现场、指令跟随、单步视频,别和缩放律梯子的训练配方混为一谈。
- 和 EgoScale 等「人类数据缩放」工作对照时,注意原文 Related Work 的区分: 是否在机器人数据上零样本测到随规模单调,以及预训练是否混入 robot-shaped 数据。