世界动作模型即零样本策略
DreamZero:World Action Models are Zero-shot Policies(arXiv:2602.15922)中文译本
原文 PDF:arxiv.org/pdf/2602.15922 · HTML:arxiv.org/html/2602.15922 · 代码:github.com/dreamzero0/dreamzero
原文:arXiv:2602.15922 · 项目页 https://dreamzero0.github.io · 本页为中文译本,图表取自 arXiv HTML。原文以 CC BY 4.0 许可发布;本页为忠实于原意的中文编译(以意译和精炼为主,非逐句对照),数值与结论均以原文为准。作者:Seonghyeon Ye、Yunhao Ge、Kaiyuan Zheng、Shenyuan Gao、Sihyun Yu 等,NVIDIA(项目负责人:Seonghyeon Ye、Yuke Zhu、Linxi “Jim” Fan、Joel Jang)。
摘要
当前最先进的视觉-语言-动作模型(Vision-Language-Action,VLA)擅长语义层面的泛化,但在陌生环境中面对未见过的物理动作时泛化能力有限。本文提出 DreamZero,一个构建在预训练视频扩散模型之上的世界动作模型(World Action Model, WAM)。与 VLA 不同,WAM 通过预测未来的世界状态与动作来学习物理动态,把视频当作“世界如何演化”的稠密表示。
通过联合建模视频与动作,DreamZero 能够从异构机器人数据中有效学习多样技能,而不必依赖大量重复示范。在真机实验中,它在新任务与新环境上的泛化相比最先进的 VLA 提升超过 2 倍。
更关键的是,借助模型与系统层面的优化,我们让一个 14B 的自回归视频扩散模型实现了 7Hz 的实时闭环控制。最后,我们展示了两种跨本体迁移:来自其他机器人或人类的纯视频示范,仅用 10–20 分钟数据即可让未见任务表现获得超过 42% 的相对提升;更令人意外的是,DreamZero 支持少样本本体适配——仅用 30 分钟的“玩耍”数据即可迁移到全新机器人,同时保留零样本泛化能力。

图 1:总览。通过联合预测视频与动作,世界动作模型(WAM)继承了世界物理先验,从而能够 1)从多样、非重复的数据中有效学习;2)开放世界泛化;3)仅从视频数据进行跨本体学习;4)对新机器人的少样本适配。
1 引言
近期的机器人基础模型,即视觉-语言-动作模型(VLA),把预训练的视觉-语言模型(VLM)扩展为可输出电机动作的模型(Kim et al. 2024b;Black et al. 2024b;Bjorck et al. 2025;Gemini Robotics Team 2025;Brohan et al. 2023a)。VLA 继承了语言先验,因此能泛化到多样的语言指令,尤其是操作各类物体(Brohan et al. 2023a);但它们对新环境,更重要的是对新动作或新技能的泛化仍然有限(Zhou et al. 2025;Guruprasad et al. 2025)。例如,VLA 能够执行“把可乐罐移到 Taylor Swift 旁边”(Brohan et al. 2023a),因为它可以借助 VLM 预训练中的网络知识识别目标位置,再把它与机器人数据中学到的“移动”技能结合;但若机器人训练数据中没有“解鞋带”这一技能,它就会失败。
VLM 先验在语义层面编码了“做什么”,却缺少关于“如何执行”的表示——即具备精确空间感知、与几何、动力学和电机控制对齐的动作(Chen et al. 2024;Feng et al. 2025)。因此,除非显式采集大规模、针对具体任务和环境的动作数据,VLA 往往难以适应新环境,或泛化到专家示范分布之外的新任务。
本文提出 DreamZero:一个构建于预训练图像到视频扩散骨干(Team Wan 2025)之上的 14B 机器人基础模型。我们把这种架构称为世界动作模型(World Action Model, WAM)——一种以对齐方式同时预测动作与视觉未来状态的基础模型。WAM 从在网络规模视频上训练的视频扩散模型初始化,利用其丰富的时空先验,在语言指令和观测的条件下联合生成未来帧与动作。这把动作学习从“稠密的状态-动作模仿”转向“逆动力学”——把电机指令与预测出的视觉未来对齐。由此我们观察到:(1)可以有效地从异构机器人数据(在真实场景中执行有用行为时采集的轨迹)中学习,而不是只依赖精心重复的示范;(2)可零样本泛化到新环境中的新任务;(3)跨本体迁移高效。

图 2:联合视频与动作预测。DreamZero 同时生成视频与动作,预测出的动作与生成视频高度一致。图中示例均来自完全未见过的任务。
这种做法带来了区别于以往工作(包括其他 WAM,如 Kim et al. 2026;Liang et al. 2025;Pai et al. 2025)的三项核心进展:
- 第一,DreamZero 解锁了超越传统 VLA 与既有 WAM 的泛化能力——跨环境、跨任务、跨本体(图 2、图 3)。在环境泛化与任务泛化基准上,相比最先进的预训练 VLA,平均任务进度提升超过 2 倍。
- 第二,DreamZero 表明通用策略可以从多样、异构的数据中高效学习,打破了“通用机器人策略需要每个任务大量重复示范”的惯常认知。尽管其他 WAM 也表明视频预测先验相比 VLA 能提升动作学习的样本效率(Pai et al. 2025;Liao et al. 2025),但多数工作仍聚焦于重复示范。此外,即便经过任务特定的后训练,DreamZero 的环境泛化能力依然保留,平均任务进度比最先进的 VLA 高 10%。
- 第三,我们展示了两种跨本体迁移。其一,来自另一机器人(YAM)或人类的纯视频示范,仅用 10–20 分钟数据即可使目标机器人(AgiBot G1)在未见任务上获得超过 42% 的相对提升;其二,更令人意外的是,DreamZero 支持少样本本体适配:在 AgiBot G1 上预训练的模型,只需 30 分钟玩耍数据即可适配到全新的机器人(YAM),并保留零样本泛化。据我们所知,这为数据高效的本体适配树立了新标杆。
DreamZero 是一个 14B 的自回归扩散 Transformer,以教师强制(teacher forcing)的分块(chunk-wise)视频去噪为训练目标。我们的架构分析表明:更大的预训练视频扩散模型生成质量更高的视频预测,并直接转化为更好的下游动作执行——策略性能从根本上与视频生成质量绑定。我们还发现,训练数据的多样性对泛化至关重要,在总时长相同的情况下优于多任务重复数据。此外,自回归架构带来更平滑的机器人运动,以及预测视频与执行动作之间更好的模态对齐。
为应对视频扩散模型固有的算力开销,我们引入了三类优化:(1)算法层面,包括视频与动作去噪调度解耦(DreamZero-Flash);(2)系统层面的并行与缓存策略;(3)底层优化,如量化与 CUDA 内核调优。这些技术合计带来 38 倍推理加速且不降低性能,使 DreamZero 能以约 7Hz 生成动作块,实现平滑的实时机器人控制。
本文的主要贡献:
- 提出 DreamZero,一个联合预测视频与动作的 14B WAM,可从多样、非重复的机器人数据中有效学习。
- 相比最先进的 VLA,在未见动词/动作上的零样本泛化提升超过 2 倍,同时保留跨物体与跨环境的泛化。
- 提出模型与系统层面的优化,实现 38 倍推理加速,支持 7Hz 实时闭环控制。
- 展示跨本体迁移:来自人类(12 分钟)或其他机器人(20 分钟)的纯视频数据可使未见任务获得超过 42% 的相对提升;并提出少样本本体适配——AgiBot G1 上预训练的 DreamZero 只需 30 分钟玩耍数据即可适配全新机器人 YAM,并具备零样本泛化。
- 开源模型权重、推理代码,以及运行公开真机基准(RoboArena)与仿真基准(PolaRiS、Genie Sim 3.0)的代码(github.com/dreamzero0/dreamzero)。注:尽管仅用约 500 小时真机数据训练,DreamZero 在由 100 个任务组成的 Genie Sim 3.0 仿真基准上也有不俗表现,且并未显式使用其 10k 小时的仿真训练数据。

图 3:自由形式评测。在自然语言指令下,DreamZero 可完成多种多样的任务,包括物体操作、工具使用和人机交互。
2 相关工作
2.1 视觉-语言-动作模型
用基础模型服务机器人。面向物理 AI 的基础模型(Bommasani et al. 2021)已成为重要研究前沿。一类工作把现成的预训练基础模型当作“黑盒”推理器来做高层任务规划:基础模型生成指令序列、视觉轨迹或可供性(affordance),再由专门的底层策略或控制器执行(Brohan et al. 2023b;Singh et al. 2023;Driess et al. 2023;Huang et al. 2023;Kumar et al. 2026)。这种模块化简化了复杂规划、带来更强泛化(Li et al. 2025b;Lee et al. 2025)与效率(Dreczkowski et al. 2025),但依赖于预先存在的底层技能库,以及连接抽象推理与物理执行的稳健接口;同时解耦系统还存在跨模块误差累积的风险。
VLA。另一方面,端到端模型 VLA(Brohan et al. 2022、2023a;Kim et al. 2024a;Zheng et al. 2025a;Ye et al. 2025;Yang et al. 2025b;Black et al. 2024a;Bjorck et al. 2025;Physical Intelligence 2025;Gemini Robotics Team 2025;Bu et al. 2025)摆脱了僵化的“规划-控制”层级,把语言条件语义与底层机器人动作融合进同一模型,并通常由网络规模预训练的 VLM 初始化。它们在视觉-语义知识迁移上推进了前沿,但预训练于静态图文数据,难以继承向新物理技能迁移所需的时空先验。
VLA 的泛化。VLA 的泛化主要体现在物体和语义层面(Brohan et al. 2023a;Gao et al. 2025),对全新技能和全新环境的泛化仍然有限。现有 VLA 往往通过为特定任务在数百个不同环境中收集人类遥操作数据来获得环境泛化(Physical Intelligence 2025);而任务泛化则试图用大量语言条件的动作基元来覆盖(Gemini Robotics Team 2025),但用固定的、以 episode 为粒度的语言任务集合来穷尽所有物理交互与动作并不现实。相比之下,基于视频的世界模型从数据里每一对相邻帧中学习,同时借助大规模视频预训练理解物理动态。
2.2 基于视频模型的机器人策略
机器人中的视频生成。已有工作表明,视频生成模型可用于合成机器人轨迹,并在测试时通过多种方式提取可执行动作:逆动力学模型(Du et al. 2023;Zhou et al. 2024)、作为稠密对应的光流(Ko et al. 2024)、或作为高层规划的轨迹预测(Yang et al. 2024;Du et al. 2024)。另一些工作生成人类视频——结合 3D 跟踪(Liang et al. 2024)或面向新场景与新动作(Bharadhwaj et al. 2024;Chen et al. 2025)——并用点跟踪目标训练策略。最近 Jang et al. 2025 与 Luo et al. 2025 表明,视频生成模型可借助其强泛化能力,为新环境中的未见行为合成机器人数据。
联合视频与动作生成。另一类工作把视频与动作生成耦合起来做端到端学习。这些方法表明,在动作预测之外引入世界建模目标,能提升多任务表现、样本效率以及对新场景和新物体的泛化。早期工作(Wu et al. 2024;Cheang et al. 2024;Li et al. 2025a;Zhu et al. 2025;Zhao et al. 2025;Zheng et al. 2025b;Won et al. 2025)从零或从 VLA 出发学习联合世界建模与动作预测;较新的工作(Kim et al. 2026;Liao et al. 2025;Hu et al. 2024;Liang et al. 2025;Pai et al. 2025)则利用预训练视频扩散模型来继承丰富的视觉动态先验。由于它们利用世界建模能力(预测未来状态)来预测动作,我们统称其为世界动作模型(WAM)。我们使用“WAM”而非“视频动作模型(VAM)”,是因为视频只是世界建模目标的一种——未来的 WAM 也可能把动作与触觉、力反馈或学习到的隐表示等其他预测模态对齐。
与既有 WAM 相比,DreamZero 系统性地探索数据多样性与规模,以释放 WAM 的全部泛化潜力;采用更适合长时程“世界-动作”建模的自回归架构;在新任务与新环境上均取得最先进的泛化;并在跨本体迁移上取得最先进水平,既能从不同本体(仅视频)中学习,又能对新本体做少样本适配。
为什么选择 WAM。建立在视频扩散骨干上的 WAM 从网络规模数据中继承了丰富的时空先验,兼具两种范式之长:端到端 VLA 的无缝梯度流,以及用于规划的稠密世界建模监督。与从零开始在紧凑隐空间学习动态的隐空间世界模型(Hafner et al. 2019、2020、2023;Assran et al. 2025)不同,WAM 利用的是已从互联网规模数据中编码了物理动态的预训练视频表示。该方法的核心是学习视频与动作的联合分布——DreamZero 同时学习两种模态,视频预测充当引导动作生成的隐式视觉规划器。这一形式不仅意味着提升机器人能力可归结为提升视频生成,还带来了当前 VLA 难以具备的三种能力:对新任务的零样本泛化、对异构机器人数据的有效学习,以及从视频中极其高效的跨本体迁移。关于 WAM 与其他世界模型架构(如隐空间、3D 点云)的差异,见附录 A。
3 DreamZero
预训练视频扩散模型蕴含来自网络规模数据的丰富时空先验,是机器人策略的理想骨干。然而,把它们转化为有效的 WAM 面临三个关键挑战:
- (1)视频-动作对齐:联合预测视频与动作需要视觉未来与电机指令紧密耦合,而简单地拼接独立的视频头与动作头容易导致错位;
- (2)架构设计:双向架构与自回归架构哪个更适合 WAM 尚不清楚,这关系到模态对齐、误差累积与推理效率;
- (3)实时推理:视频扩散模型需要在高维隐空间中迭代去噪,对闭环控制而言慢得难以接受。
DreamZero 通过三项设计应对:第一,训练一个单一的端到端模型,以共享目标联合去噪视频与动作,保证模态间深度融合;第二,采用自回归架构并利用闭环设置——每执行完一个动作块后,用真实观测替换 KV 缓存中的预测帧,从而消除误差累积,同时借助 KV 缓存实现高效推理,并保留原生帧率以实现精确的模态对齐(图 4 右侧);第三,引入系统、实现与模型三个层面的优化,获得 38 倍推理加速,实现 7Hz 实时控制。第 3.1 节介绍模型架构,第 3.2 节介绍实时执行。

图 4:DreamZero 模型架构。模型接收三类输入:视觉上下文(经 VAE 编码)、语言指令(经文本编码器)和本体感知状态(经状态编码器)。这些输入由使用流匹配的自回归 DiT 骨干处理,并通过独立的解码器联合预测未来视频帧与动作。训练时(左),对每个 chunk,模型在干净视频上下文条件下对带噪的视频与动作隐变量去噪;推理时(右),预测结果在真实世界中异步执行,真实观测被回填到 KV 缓存以避免误差累积。
3.1 模型架构
问题建模。DreamZero 在语言指令 \(\mathbf{c}\)、本体感知状态 \(\mathbf{q}_l\) 以及包含当前和历史的视觉观测 \(\mathbf{o}_{0:l}\) 的条件下,联合预测视频 \(\mathbf{o}_{l:l+H}\) 与动作 \(\mathbf{a}_{l:l+H}\),其中 \(H>0\) 为固定时域,\(l\) 是从轨迹中随机采样的索引。联合预测可分解为(1)自回归视频预测与(2)基于逆动力学模型(IDM)的动作预测:
不同于用两个独立模型(视频预测模型与逆动力学模型)分别建模该分解目标(Li et al. 2026;Pai et al. 2025),我们用联合预测目标端到端地训练单一模型。我们认为这种端到端设计通过两种模态的深度融合实现更好的视频-动作对齐。由于预训练视频模型已在多样的网络规模视频上针对视频预测目标优化过,DreamZero 只需额外学习为机器人本体的视频做预测,并从生成的视频中提取对应动作。我们进一步假设,这比从 VLM 训练 VLA 的常规做法泛化更好,因为我们的方法显式地从视频帧中学习时间动态,而这些帧既是条件输入又是预测目标。
模型结构。如图 4 所示,为保留视频模型的泛化能力,我们只引入极少的新参数:状态编码器、动作编码器和解码器。对于含多视角的机器人训练数据,我们将所有视角拼接为一帧,而不修改骨干架构。
DreamZero 以自回归方式预测视频帧及对应动作。自回归生成有如下优势:(1)借助 KV 缓存,推理更快;(2)策略可利用视觉观测历史作为下一步生成的引导;(3)避免双向模型固有的模态(视频、动作、语言)对齐难题。具体而言,双向扩散通常处理固定长度序列,往往需要对视频做下采样,从而扭曲原生 FPS,可能损害视频-动作对齐;而自回归生成借助 KV 缓存,在一次前向中即可支持任意长的上下文,保留原生帧率,确保视频帧与机器人动作精确对齐(详见附录 B)。
我们只对视频模态使用自回归建模,以避免闭环动作预测带来的误差传播。DreamZero 以 chunk 为单位预测视频帧;每个 chunk 含固定数量 \(K\) 个隐帧,与动作时域匹配。分块生成使得模型可在变长视频上训练,类似于 LLM 在变长语言 token 上训练。不同模态的 QKV 注意力掩码策略见附录 C。
训练目标。与近期的视频扩散模型与 VLA 类似,我们采用流匹配(flow matching;Liu et al. 2022;Lipman et al. 2022;Albergo et al. 2023)作为训练目标(Team Wan 2025;Ali et al. 2025;Teng et al. 2025)。与近期 WAM(Zhu et al. 2025;Kim et al. 2026;Li et al. 2025a;Liao et al. 2025)不同,DreamZero 让视频与动作共享去噪时间步,以在训练初期加快收敛。我们还采用教师强制(Jin et al. 2024;Gao et al. 2024):模型在干净的前序 chunk 条件下,对带噪的当前 chunk 去噪。
形式化地,给定 chunk 索引 \(k>0\) 与去噪时间步 \(t_k\in[0,1]\),记原视频 \(\mathbf{o}^k\) 对应的带噪视频隐变量为 \(\mathbf{z}_{t_k}^k\),带噪归一化动作为 \(\mathbf{a}_{t_k}^k\)。同一 chunk 内所有帧共享同一时间步 \(t_k\),不同 chunk 独立采样时间步。带噪变量定义为干净向量与高斯噪声的线性插值:
其中 \(\mathbf{z}_0^k,\mathbf{a}_0^k\sim\mathcal{N}(\mathbf{0},\mathbf{I})\),\(\mathbf{z}_1^k\) 与 \(\mathbf{a}_1^k\) 分别为干净的视频隐变量与归一化动作。于是前序 chunk 的干净上下文记为 \(\mathcal{C}_k=\{(\mathbf{z}_1^j,\mathbf{a}_1^j)\}_{j=1}^{k-1}\)。我们训练模型 \(\mathbf{u}_\theta\) 预测两种模态的联合速度,流匹配目标为:
其中 \(w(t_k)>0\) 是预定义的权重函数,\(\mathbf{c}\) 为文本条件,\(\mathbf{q}_k\) 为第 \(k\) 个 chunk 的本体感知状态,速度 \(\mathbf{v}^k\coloneqq[\mathbf{z}_1^k,\mathbf{a}_1^k]-[\mathbf{z}_0^k,\mathbf{a}_0^k]\)。为高效训练,我们进行轨迹级更新并使用注意力掩码(见图 14),使当前带噪 chunk 能关注前序 chunk 的干净上下文。训练伪代码见算法 1。
模型推理。如图 4 所示,推理时 DreamZero 联合去噪视频与动作 chunk,并借助 KV 缓存提升效率(Huang et al. 2025b;Teng et al. 2025;Yin et al. 2025)。与纯视频生成不同,我们的闭环设置允许每次动作执行后,用真实观测替换 KV 缓存中的生成帧(见图 14)。这消除了自回归视频生成中固有的误差累积问题——这是 WAM 独有的关键优势。此外,作为有状态的策略,DreamZero 可利用视觉历史完成需要记忆的任务(注:本文未显式评测或后训练需要记忆的任务,留待未来工作)。推理伪代码见算法 2。
3.2 DreamZero 的实时执行
基于扩散的 WAM 从视频基础模型继承了强大的泛化能力,但迭代去噪与反应式机器人控制之间存在根本张力。我们回答两个问题:(1)什么阻碍 WAM 成为反应式策略?(2)如何解决以实现实时控制?
3.2.1 反应性差距
反应式策略必须在数十毫秒内响应环境变化。在单 GPU 上,对 DreamZero 的朴素实现每个动作 chunk 约需 5.7 秒,来自三个瓶颈:(1)为获得平滑动作需 16 步扩散去噪;(2)14B 参数 DiT 骨干的计算开销;(3)推理期间顺序执行会阻塞机器人运动。这样的延迟使闭环控制不可行。(注:人们可能期望只生成动作而不生成视频能加速推理,但在 14B 规模下我们实测发现提速很小——扩散步数与 DiT 块数主导延迟;并且由于视频与动作联合训练以获得强跨模态对齐,简单减少动作去噪步数会降低质量,这正是 DreamZero-Flash 的动机。)
3.2.2 异步闭环执行
解决问题的第一步是通过异步执行把推理与动作执行解耦。运动控制器不等待每次推理完成,而是持续执行最近一次的动作 chunk,同时在最新观测上并发地运行推理。这把延迟约束从“推理必须在机器人运动之前完成”转变为“推理必须在当前动作 chunk 过期之前完成”。实验中,我们对双臂操作机器人采用 48 步的动作时域、30Hz 的控制频率(每个 chunk 1.6 秒)。因此,我们将推理延迟目标设为低于约 200ms,以保证足够的重叠、实现平滑而灵敏的控制。
3.2.3 系统级优化
在异步执行结构下,我们通过并行与缓存提升推理吞吐:
- CFG 并行。无分类器引导(Ho and Salimans 2022)需要两次前向(条件与无条件)。我们把它们分配到两块 GPU 上,使每步延迟降低 47%。
- DiT 缓存。我们利用流匹配中速度预测的方向一致性:当相邻速度的余弦相似度超过阈值时,复用缓存的速度,把有效 DiT 步数从 16 减少到 4,动作预测质量损失极小。
3.2.4 实现级优化
我们进一步通过编译器与内核改进降低延迟:
- Torch Compile 与 CUDA Graphs。应用 torch.compile 配合 CUDA Graphs,消除 CPU 开销并融合算子。静态形状只会在第一条轨迹中引发重编译。
- 训练后量化。在 Blackwell 架构上,将权重与激活量化为 NVFP4,同时敏感操作(QKV、Softmax)保持 FP8,非线性操作保持 FP16。
- 内核与调度器增强。注意力使用 cuDNN 后端,并把调度器操作迁移到 GPU,消除 CPU-GPU 同步停顿。
3.2.5 模型级优化:DreamZero-Flash
即便有了系统优化,扩散步数仍是延迟的主要瓶颈。然而,简单地减少步数会降低动作质量,因为残留的视觉噪声会传播到动作预测中。
图 5:解耦噪声调度。DreamZero(蓝)对视频与动作使用耦合噪声(均为均匀分布);DreamZero-Flash(红)通过 Beta 分布把视频推向高噪声,同时保持动作噪声均匀,从而训练模型从带噪视觉上下文预测干净动作。
DreamZero-Flash 在训练时解耦视频与动作的噪声调度来解决这一问题。核心洞见在于:推理时,动作应当去噪到最终值,同时以当前 chunk 内仍带噪的视频表示为条件——因为在极少的去噪步数(如少于 4 步)下,生成的视频 token 可能仍不准确,只能提供带噪的条件信号。标准 DreamZero 为两种模态共享时间步 \(t_k\sim\mathcal{U}(0,1)\),这造成训练与测试的不匹配:训练时模型学习在视频与动作噪声水平相同的情形下预测动作,而少步或单步推理却要求在视频仍部分带噪时预测干净的动作。
DreamZero-Flash 通过把视频时间步偏向高噪声状态来弥合这一差距:\(t_k^{\text{video}}=1-\eta\),其中 \(\eta\sim\text{Beta}(\alpha,\beta)\),\(\alpha>\beta\)。实践中我们以 Beta(7,1) 作为示例配置,得到 \(\mathbb{E}[t_k^{\text{video}}]=0.125\)(以带噪为主),而动作时间步保持均匀分布(图 5)。训练时,这使模型暴露于“必须从带噪视觉上下文预测干净动作”的配置,与少步/单步推理机制直接匹配。结果是,我们把扩散步数从 4 步降到 1 步,推理时间从约 350ms 降到约 150ms,性能损失极小(表 3)。此外,Flash 形式还允许灵活的训练配置——例如改变视频与动作的噪声采样比例——以便让训练更好地对齐不同的少步/单步推理机制。实践中,我们主要把 Flash 训练作为主 DreamZero 模型训练之后的最后阶段。
动作 chunk 平滑。为抑制生成动作中的高频噪声,我们把 chunk 上采样到 2 倍分辨率,施加 Savitzky-Golay 滤波,再下采样回原分辨率。
3.2.6 小结
表 1 汇总了累计加速效果。系统与实现层面的优化在 H100 上带来约 9 倍、在 GB200 上带来约 16 倍加速;再加上 DreamZero-Flash,在 GB200 上达到 38 倍,把延迟从 5.7 秒降到 150ms。除 DiT 缓存与量化外,所有系统与实现层面的优化在数学上都与基线等价,没有可测量的性能下降。
| 优化 | H100 | GB200 |
|---|---|---|
| 基线(Baseline) | 1× | 1.1× |
| 系统级 | ||
| + CFG 并行 | 1.9× | 1.8× |
| + DiT 缓存 | 5.5× | 5.4× |
| 实现级 | ||
| + Torch Compile + CUDA Graphs | 8.9× | 10.9× |
| + 内核与调度器优化 | 9.6× | 14.8× |
| + 量化(NVFP4) | — | 16.6× |
| 模型级 | ||
| + DreamZero-Flash | — | 38× |
表 1:累计推理加速。每一行包含其上方所有优化。标注“—”的条目表示该特性不适用于对应硬件。
4 实验设置
我们在两种机器人本体上验证“从多样数据学习”的主要假设:AgiBot G1 移动双臂操作机器人与 Franka 单臂机器人。我们为每种本体分别预训练,多本体联合训练留待未来。对于跨本体实验,我们使用 YAM 机器人以及人类第一视角(egocentric)数据。AgiBot G1 的实验设置见图 7。
我们与两个最先进的 VLA 对比:GR00T N1.6(Bjorck et al. 2025)与 \(\pi_{0.5}\)(Physical Intelligence 2025)。每个基线评测两种初始化策略:(1)从零开始(from-scratch):使用预训练 VLM 权重、但未经过任何机器人数据训练,以便与 DreamZero 公平地一对一比较;(2)从预训练开始(from-pretrained):使用官方在数千小时跨本体机器人数据上预训练的检查点。两种变体随后都在与 DreamZero 相同的数据上训练:我们为 AgiBot G1 采集的约 500 小时遥操作数据,以及 Franka 的 DROID 数据集(Khazatsky et al. 2024)。我们通过匹配总 batch size 与梯度步数,使各方法算力预算相当(对 from-pretrained 基线,这是在官方权重基础上的持续训练)。
(图 6:AgiBot 预训练语料的分布统计——episode 时长、每个 episode 的子任务数量、技能覆盖,共 7.2K 个 episode(约 500 小时)。
图 6:AgiBot 预训练语料的分布统计:episode 时长、每个 episode 的子任务数量,以及约 7.2K 个 episode(约 500 小时)上的技能覆盖。
4.1 预训练
数据。我们的数据采集理念不同于现有 VLA。尽管近期工作表明 VLA 可以从中等规模数据集中学到有效策略,这些方法通常依赖结构化、聚焦任务的示范来保证行为一致。我们假设,只学习预测动作而不编码关于未来世界状态的知识,使得模型难以有效利用高度异构、非重复的数据,因为它必须从带噪的状态-动作对中隐式推断动力学。相反,我们认为 DreamZero 的世界建模目标可以从多样示范中有效学习,因此在数据采集时可以优先考虑广度与实用性,而非重复。
使用 AgiBot G1,我们在 22 个不同环境(见图 15)中采集了约 500 小时遥操作数据,包括家庭、餐厅、超市、咖啡店与办公室——优先考虑任务多样性与真实世界实用性,而非针对特定任务的重复。如图 6 所示,每个 episode 平均约 4.4 分钟、包含约 42 个子任务,时程显著长于典型机器人操作数据集(Khazatsky et al. 2024;Walke et al. 2023)。技能分布反映了真实部署需求:导航使机器人能在不同工作区间移动,躯干调整使其能与不同高度(货架、柜子)的物体交互。数据采集流程的更多细节见附录 E。我们计划在后续版本中开源该数据集,部分样例见 training_data_gallery。
我们还在 Franka 单臂机器人上用 DROID(Khazatsky et al. 2024)验证 DreamZero。DROID 是目前最异构的公开机器人数据集之一,借此展示 WAM 在多样的开源数据上的有效性,并在我们自采的 AgiBot 数据集发布前保证可复现性。我们开源了检查点与推理代码,可在 PolaRiS(Jain et al. 2025)中运行部分 DROID 仿真评测。
训练。我们使用 14B 的图像到视频扩散模型 Wan2.1-I2V-14B-480P(Team Wan 2025)作为 DreamZero 的骨干。AgiBot 与 DROID 数据集均训练 100K 步,全局 batch size 为 128。我们更新所有 DiT 块、状态编码器、动作编码器与动作解码器,冻结文本编码器、图像编码器与 VAE(我们尝试过 LoRA,但效果欠佳)。两个数据集均过滤掉空闲动作,并默认使用相对关节位置作为动作表示。我们还在消融实验(第 5.2 节)中从 Wan2.1-I2V-5B-480P 初始化,以考察模型规模(5B vs. 14B)的影响。

图 7:AgiBot 评测设置。我们把泛化评测放在首位,默认设置是未见环境、未见物体。
评测协议。我们在预训练之后直接评测模型(开箱即用)。默认评测设置为未见环境、未见物体——由于预训练与后训练数据采集地点与评测场地在不同的地理位置,每个基准本质上测试的都是分布外泛化,而非训练分布内的插值。
我们评测两类任务:已见任务与未见任务。我们把任务的粒度定义为“任务所需动作”与“物体类型”的组合。例如,若训练数据包含叠红色衬衫,而评测要求叠一件不同尺寸的黑色衬衫,则属于已见任务;若评测要求叠袜子,则属于未见任务,因为叠袜子所需的动作与叠衬衫不同(样例见图 7)。
AgiBot 评测协议。对于已见任务,我们从预训练分布中选取 10 个任务,包括抓取放置(pick-and-place)变体、堆叠、擦拭与折叠;每个任务在 4 台机器人上各做 8 次 rollout,每次都使用不同的环境与物体(每个检查点共 80 次 rollout)。10 个已见任务分为三类:PnP-Easy(抓取放置水果、擦拭污渍、从袋中取出水果)、PnP-Hard(抓取放置叉/勺、把笔放入笔筒、把杯子放到杯垫上、成排堆叠碗/杯)和接触丰富操作(叠衬衫、叠短裤、堆叠衣物)。对于未见任务,我们评测 10 个训练中没有的任务——如熨烫、绘画、拉推车、方块堆叠、从人台上取下帽子、解鞋带——同样每个任务在 4 台机器人上各 8 次 rollout(每个检查点共 80 次)。每次评测 rollout 的初始帧与提示词完整列表见附录 F。
DROID 评测协议。我们评测 20 个已见任务与 20 个未见任务(动词在 DROID 中不存在),每个任务 2 次 rollout,每个检查点跨 40 个任务共 80 次。我们将 DreamZero 与公开发布的 \(\pi_{0.5}\)-DROID 以及内部训练的 GR00T N1.6-DROID 检查点对比。各检查点的物体位置保持固定以确保公平。每次 rollout 依据部分任务完成度打 0 到 1.0 的分数;完整细节见附录 G。
4.2 后训练
除预训练之外,我们还评估 WAM 能否在 AgiBot 机器人的任务特定数据上提升微调表现。
数据。我们为三个下游任务采集后训练数据:
- 叠衬衫(33 小时):把平铺的 T 恤经 5 个连续阶段折叠好;随机化 2 种衬衫的初始位置。
- 水果装袋(12 小时):把桌上的 10 个水果装进袋子;随机化水果组合以及水果与袋子的位置。
- 清理餐桌(40 小时):把 5 件垃圾放入垃圾桶、把 5 件餐具(盘、碗、叉、勺)放入餐具箱;随机化物体类型、组合与位置。
训练。每个任务后训练 50K 步。与预训练一样,除文本编码器、图像编码器与 VAE 外,所有参数均被更新。
评测协议。我们对每个任务做 10 次 rollout,度量平均任务进度。任务进度定义为:(1)叠衬衫:完成的折叠阶段数(共 5);(2)水果装袋:成功装袋的水果数(共 10);(3)清理餐桌:被清理的物品数。参照 Barreiros et al. (2025),我们对初始场景施加图像叠加(overlay)以降低方差。
5 实验结果
5.1 主要结果
我们评估 DreamZero 相对基线的零样本泛化表现,并研究以下问题。
Q1. WAM 能否更好地从多样、非重复数据中学习?
图 8:已见任务评测。DreamZero 能从多样数据中有效学习并泛化到新环境,在各类任务上均优于 VLA。从零训练的 VLA 接近零成功;预训练 VLA 表现一般。
我们开箱即用地评测预训练模型:任务出现在预训练数据中,但环境是零样本的、物体也未见过。结果见图 8(已见任务评测:DreamZero 能有效地从多样数据中学习并泛化到新环境,在所有任务类别上优于 VLA;从零开始的 VLA 几乎为零成功率,而预训练 VLA 表现一般——可能得益于在预训练阶段通过重复示范获得的本体特定知识)。
在 AgiBot G1 上,从零开始的 VLA 在所有类别中任务进度几乎为零。即使在简单的抓取放置任务(PnP Easy)上,VLA 偶尔会朝正确物体伸手,却无法在新环境中与未见物体准确交互。相比之下,DreamZero 成功地从异构数据中学习,平均任务进度达 62.2%——比最好的预训练 VLA 基线(27.4%)高出 2 倍以上,尽管这些基线在用我们的数据混合持续训练之前,已在数千小时跨本体机器人数据上预训练过。在 DROID-Franka 上也有类似结果:仅在 DROID 数据集上训练的 DreamZero 优于在多种机器人本体数据上预训练的基线模型。
我们将这一差距归因于联合视频-动作的形式:VLA 需要海量机器人数据才能学到从观测到动作的直接映射,而 WAM 以视频生成作为动作预测的强先验,从而有效地学习多样数据并泛化到未见环境。值得注意的是,我们观察到生成视频与真实执行之间紧密对齐,即使对次优行为也是如此(图 16)。DreamZero 的大多数失败源于视频生成错误而非动作预测——策略会忠实地执行视频所预测的轨迹。这表明视频骨干的改进将直接转化为 WAM 性能的提升。
Q2. WAM 能否泛化到未见任务?
图 9:对未见任务的零样本泛化。DreamZero 在训练中完全缺失的 10 个任务上取得非平凡的任务进度,而 VLA 在两种本体上均表现困难。
图 9 评估在预训练分布中完全不存在的 10 个任务上的泛化,包括解鞋带、熨烫、用笔刷绘画、握手等(图 9:零样本泛化到未见任务。DreamZero 在 10 个训练中不存在的任务上取得了非平凡的任务进度,而 VLA 在两种本体上都表现挣扎)。
在 AgiBot G1 上,从零开始的 VLA 任务进度几乎为零,而 DreamZero 平均达到 39.5%,在“从人台取下帽子”(85.7%)与“握手”(59.2%)等任务上表现强劲。DreamZero 也显著优于预训练 VLA 基线(39.5% vs. 16.3%),尽管这些基线在跨本体预训练中可能见过其中一些任务。在 DROID-Franka 设置上,DreamZero 同样显著优于其他预训练基线(任务进度 49%、成功率 22.5%;GR00T N1.6 为任务进度 31%、成功率 12.5%;\(\pi_{0.5}\) 为任务进度 33%、成功率 7.5%)。
定性来看,我们观察到预训练 VLA 无论指令是什么,往往都会朝物体伸手并尝试抓取,表明它们过拟合于主导的训练行为(例如抓取放置),而非理解新任务语义——这解释了它们虽然没能完成指定任务却仍有部分任务进度。相反,DreamZero 对未见任务进行视觉规划并成功执行,生成视频与真实动作之间对齐紧密。
除结构化评测外,我们还通过口头指令的自由形式提示,对 100 多个额外任务进行了自由形式测试,包括“戳破气球”和“按电梯按钮”等(rollout 见 evals_gallery)。
Q3. WAM 能否改进后训练表现?
图 10:后训练结果。WAM 在三项任务上带来更强的后训练表现,表明 DreamZero 的环境泛化在后训练后得以保留。
我们研究 WAM 在任务特定数据上微调之后是否仍保持其泛化。图 10 展示了分布多样性各异的三个任务的结果(图 10:后训练结果。WAM 在三个任务上带来更强的后训练结果,表明 DreamZero 的环境泛化在后训练后得以保留)。
DreamZero 在所有任务上持平或优于 VLA 基线:在叠衬衫与清理餐桌上表现相当,在水果装袋上显著领先。与图 8、图 9 的发现相似,从零开始的基线无法学到准确抓取目标物体的动作;这意味着从零开始的 VLA 倾向于过拟合训练数据,当我们改变桌面高度、桌面距离、物体与物体摆放时就无法泛化——这主要是因为评测场地位于不同的地理位置(样例见图 7)。尽管用重复数据在多种机器人本体上预训练大大提升了预训练基线的后训练泛化表现,DreamZero 在没有跨本体预训练的情况下仍持平或优于预训练 VLA 基线。由于后训练评测依然是在未见环境中进行的,这意味着 DreamZero 的环境泛化能力在后训练之后得以保留。
Q4. WAM 能否实现面向未见任务的强跨本体迁移?
在证明 WAM 能泛化到未见任务(图 9)之后,我们进一步研究:利用不同本体执行相同任务的视频数据,能否提升这种泛化。关键在于,对跨本体数据我们仅使用视频预测目标(没有动作),而对 AgiBot 预训练数据则保持联合视频-动作目标;跨本体数据因而充当额外的视觉经验,强化世界模型对任务动态与预期行为的理解。

图 11:跨本体迁移。我们探索面向未见任务的机器人到机器人(YAM → AgiBot)和人到机器人的本体迁移。
我们探索两种设置(图 11):(1)使用双臂 YAM 机器人的机器人到机器人迁移;(2)使用人类第一视角示范的人到机器人迁移。每种设置下,我们为 9 个未见任务采集 72 条多视角轨迹(每个任务 8 条示范;YAM 共 20 分钟,人类共 12 分钟)。(我们排除了“拉推车”任务,因为在我们的双臂 YAM 机器人设置下通过遥操作采集数据不可行。)随后,我们从 DreamZero-AgiBot 检查点出发,与预训练数据按 1:1 混合共同训练 10K 步。
9 个未见任务上的结果(表 2)显示,两种迁移设置均超过 DreamZero 基线。机器人到机器人迁移收益最大(38.3% → 55.4%),可能是因为本体差距较小:YAM 与 AgiBot 都是双臂、平行夹爪。人到机器人迁移同样带来提升(38.3% → 54.3%),尽管形态差距更大且第一视角视点是动态的。
| 方法 | 任务进度 |
|---|---|
| DreamZero | 38.3% ± 7.6% |
| DreamZero + 人到机器人迁移(Human2Robot) | 54.3% ± 10.4% |
| DreamZero + 机器人到机器人迁移(Robot2Robot) | 55.4% ± 9.5% |
表 2:跨本体迁移结果。未见任务上的平均任务进度(± 标准误)。仅使用 10–20 分钟的纯视频示范数据,两种迁移设置都优于基线(基线结果来自表 9)。
这些结果指向 WAM 的一个有前景的特性:与近期 VLA 的本体迁移方法(Kareer et al. 2025;Team 2025)不同,我们的方法只依赖视觉信息,不需要动作标签。虽然目前的成功率仍属中等,但仅用 10–20 分钟的纯视频数据就能获得一致的提升,这给出早期信号:跨本体的视觉经验可以有意义地迁移。这开辟了一条潜在的扩展路径:数量级大于机器人数据集的海量人类视频,也许能让 WAM 无需动作标注就获得多样技能——当然还有待进一步研究以强化迁移机制。
Q5. WAM 能否实现少样本的新本体适配?

图 12:少样本本体适配。我们通过在新本体 30 分钟的玩耍数据上后训练,来探索少样本本体适配,并在需要强语言遵循能力的抓取放置变体任务上评测。
我们把 DreamZero-AgiBot 检查点在一个新的双臂机器人(YAM)上后训练,仅使用 11 个不同任务共 55 条轨迹(约 30 分钟数据;完整的 30 分钟玩耍数据见 yam_gallery)。如图 12 所示,尽管数据量和多样性有限,后训练得到的策略仍保留很强的语言遵循能力,甚至能泛化到训练中未见过的新物体,包括南瓜、泰迪熊、笔、杯面与纸袋。即使数据极少,我们也观察到紧密的视频-动作对齐,体现出非常高效的跨本体迁移。
我们推测两个因素促成了这一效率:(1)AgiBot G1 与 YAM 本体在视觉上相似(都配备双臂平行夹爪);(2)更根本的是,从预测视频中学习隐式 IDM,在样本效率上可能天然优于直接的策略学习——模型只需学习从视觉未来到动作的映射,并借助预训练视频模型对物理动态的既有理解。与 AgiBot 上的发现一致,失败主要源于视频预测错误而非动作提取,这表明在后训练中提升任务多样性可能进一步改善性能。(注:在这一后训练实验中,我们仅使用了 11 条各任务独有的简短全局语言标注;我们推测丰富语言多样性同样可以带来更强的迁移,留待未来研究。)
Q6. DreamZero-Flash 能否在更少的去噪步数下保持性能?
我们评估 DreamZero-Flash 能否在激进的单步去噪下保持任务性能。如表 3 所示,在清理餐桌任务上,把 DreamZero 从 4 步去噪降至 1 步会使任务进度大幅下降(83% → 52%)。相比之下,DreamZero-Flash 在单步推理下取得更高的平均表现(74%),仅比 4 步基线低 9 个百分点,同时快约 2 倍。这表明解耦噪声调度为实时部署提供了更有效的速度-精度权衡。
| 方法 | 去噪步数 | 任务进度 | 推理耗时 | 加速比 |
|---|---|---|---|---|
| DreamZero | 4 | 83% ± 6.1% | 350ms | 1× |
| DreamZero | 1 | 52% ± 10.2% | 150ms | 2.33× |
| DreamZero-Flash | 1 | 74% ± 10.1% | 150ms | 2.33× |
表 3:DreamZero-Flash 评测。清理餐桌任务在不同去噪步数下的任务进度(± 标准误)。DreamZero-Flash 仅用 1 步去噪就恢复了 4 步性能的大部分。
5.2 模型与数据消融
我们通过消融实验分离数据多样性、模型规模与架构各自的贡献。受算力限制,所有消融模型均以 50K 步、batch size 32 训练,并统一在 PnP Easy 任务上评测以便比较。
| 架构 | 模型规模 | 数据 | 任务进度 |
|---|---|---|---|
| Q1. 数据多样性 | |||
| DreamZero (AR) | 14B | 重复型 | 33% ± 4.2% |
| DreamZero (AR) | 14B | 多样型 | 50% ± 6.3% |
| Q2. 模型规模 | |||
| DreamZero (AR) | 5B | 多样型 | 21% ± 4.2% |
| DreamZero (AR) | 14B | 多样型 | 50% ± 6.3% |
| VLA | 5B | 多样型 | 0%(见正文) |
| VLA | 14B | 多样型 | 0%(见正文) |
| Q3. 架构(双向 vs. 自回归) | |||
| DreamZero (BD) | 14B | 多样型 | 50% ± 14.4% |
| DreamZero (AR) | 14B | 多样型 | 50% ± 6.3% |
表 4:模型与数据消融。PnP Easy 任务上的任务进度(± 标准误)。AR = 自回归,BD = 双向。所有模型均以 50K 步、batch size 32 训练。(说明:原文表中 VLA 两行的数值在 arXiv HTML 中渲染为 50%,与正文“0% 任务进度”不一致,此处以正文描述为准,请对照原文核实。)
Q1. 数据多样性能否提升泛化?我们比较在 500 小时多样数据与 500 小时重复数据上训练的 DreamZero,后者包含 70 个任务,每个任务有大量使用相似物体位置与配置的重复示范。如表 4 所示,多样数据显著提升泛化(33% → 50%),即便在简单的抓取放置任务上也是如此。我们推测这反映了 WAM 的学习动态:由于视频预测主要继承自预训练,关键挑战在于学习逆动力学;而稳健的 IDM 需要跨多种上下文的多样状态-动作对应关系,这正是重复数据先天缺乏的。
Q2. WAM 性能是否随模型规模扩展?对于 VLA,扩大模型规模能提升语义推理,但不一定提升动作预测。我们发现 WAM 表现出更清晰的扩展行为:14B 模型显著优于 5B 模型(50% vs. 21%),较小的模型容易出现视觉幻觉并传导为错误的动作。为公平比较,我们还把 VLA 基线扩展到与 DreamZero 同等规模:由 8B 和 32B 预训练 VLM(Yang et al. 2025a)初始化,截取前一半 Transformer 块,并按 Bjorck et al. (2025) 附加基于 DiT 的动作模块。如表 4 所示,更大的 VLA 仍无法从多样数据中学习(0% 任务进度),常常只是在物体附近徘徊而不接触。这表明,仅仅扩大模型容量并不能解决 VLA 在多样数据分布上的学习困难。
Q3. 自回归架构是否优于双向架构?我们将 DreamZero 的自回归(AR)架构与双向(BD)变体比较。任务进度相近(表 4),但 AR 模型产生的动作显著更平滑——对整个动作序列反向传播带来更好的时间一致性。此外,得益于 KV 缓存,AR 推理快 3–4 倍。
6 讨论与未来工作
WAM 的扩展定律。我们已经发现,使用更大的视频骨干并在多样数据上训练能提升下游性能(表 4)。然而,对于机器人基础模型——尤其是 WAM——扩展定律的证据仍然不足。类似于语言模型的扩展定律(Kaplan et al. 2020),需要探索 WAM 随模型规模、数据规模与训练算力变化的扩展规律,以确定最大化 WAM 能力的最优配置。我们预计 WAM 的扩展趋势会不同于 VLA,呈现出更直接的“动作扩展定律”,并把深入研究留作未来工作。
从野外人类数据中学习。尽管我们已研究利用第一视角人类数据提升未见任务表现(第 5 节),但实验仍局限于小规模的实验室内数据(仅 12 分钟)。近期已有大量比机器人数据分布更多样的人类视频数据发布(Grauman et al. 2022;Hoque et al. 2025;Chen et al. 2026)。由于 WAM 预训练于多样的互联网视频,我们假设:利用与机器人操作任务相关的大规模第一视角人类视频,会比当前 VLA 带来对下游机器人任务更强的迁移。我们把这一方向留作未来工作。
更快的推理。通过模型与系统优化,我们让 DreamZero 在 2 块 GB200 上以 7Hz 运行。然而,相比当前在消费级 GPU 上可达 20Hz 以上的 VLA,DreamZero 因参数量大和视频模型的迭代去噪特性,计算上仍然昂贵。未来如果更小的视频骨干模型同样具备强泛化能力,WAM 有望作为实时的 System 1 模型部署在轻量级边缘设备上。
长时程推理。当前的 DreamZero 架构主要是一个 System 1 模型。尽管它具有视觉记忆的概念,但目前只覆盖短时程(6 秒)。稳健的长时程执行需要一个 System 2 规划器,或者具备显著更长上下文窗口的 WAM。对于前者,模块化的双系统架构(Shi et al. 2025)和统一方法(Deng et al. 2025)都是有前景的方向;对于后者,可借鉴能在长时域上保持连贯生成的视频世界模型技术(Ball et al. 2025;HunyuanWorld 2025)来扩展 WAM 的上下文长度。
高精度任务。尽管 DreamZero 在任务和环境上泛化广泛,但在需要亚厘米精度的任务(如插钥匙、精细装配)上,它继承了行为克隆的常见局限。我们的多样化预训练策略优先考虑广度,可能对这些高精度操作所需的密集示范覆盖不足。不过,近期工作(Kim et al. 2026)给出了令人鼓舞的信号,表明 WAM 在毫米级容差的高精度操作任务上反而可能具有优势,意味着“广泛泛化”与“精细灵巧”之间的权衡经过进一步研究或可调和。
面向 WAM 的本体设计。我们假设有两个关键因素将塑造未来 WAM 发展的最佳机器人本体:(1)自由度:更高自由度的机器人需要更多玩耍数据来学习准确的隐式 IDM,因为从视觉未来到电机指令的映射会随运动学复杂度组合式增长;如何量化隐式 IDM 的准确性仍是挑战。(2)与人类的相似度:更接近人类的本体——尤其是具备灵巧操作能力的人形机器人——尽管自由度更高,也可能迁移得更高效,因为它们既能利用视频预训练中的运动先验,又能利用海量的人类第一视角视频。这两个因素方向相反,但类人本体或许会胜出——以机械简洁性换取对网络规模人类数据的访问,而这些数据正是下一代机器人基础模型的燃料。
7 致谢
这项工作离不开我们出色的机器人操作员:Alec Nagal、Inho Rha、Ava Yazdanfar、Sally Huynh、Rachit Deo、Alaa Eltayeb、Andres Rocha、Brian Dang、Cher Choi、Cristaldo Campos、Ethan Sushil Dhilpe、Jeremy Chimienti、Leilee Naderi、Manish Shah、Manoj Hallegere、Nick Aguilar、Paul Truong、Rahul Sampagaon、Shreya Raj、Nadia Laswi、Amitoj Sandhu、Omkaar Buddhikot 与 Wesley Durbano。同时感谢 Pranav Atreya 在把 DreamZero-DROID 集成进 RoboArena 基准上提供的支持;感谢 Danyi Chen、Ming-Yu Liu 与 Spencer Huang 的持续支持;以及 Nishanth Kumar、KR Zentner、Fernando Castaneda Garcia-Rozas、Zhengyi Luo、Yunfan Jiang 与 Max Li 富有成效的讨论。
附录摘要(A–H)
以下为原文附录的精简摘要,并非逐段翻译;完整内容请参阅原文。
A 与其他世界模型架构的比较
- 隐空间世界模型:JEPA 系列(LeCun 2022;Assran et al. 2023、2025;Bardes et al. 2024)在抽象隐空间而非像素空间预测未来状态,计算高效且可丢弃不可预测的细节。V-JEPA 2 在 62 小时机器人数据后训练后,实现了操作任务上的零样本规划;Dreamer 系列(Hafner et al. 2019–2025)学习紧凑隐空间动力学用于基于模型的强化学习。但这类方法建模 \(p(s_{t+1}|s_t,a_t)\),在测试时需要目标条件规划或搜索来产生轨迹。
- 3D 点云世界模型:PointWorld(Huang et al. 2025a)在共享的 3D 空间域中统一状态与动作,预测以机器人动作为条件的 3D 点流,可与模型预测控制(MPC)实时集成;但同样需要在推理时做显式优化(如 MPPI 采样)。
- 关键区别:上述方法建模前向动力学,部署时需要单独的逆动力学模型或显式规划/搜索。WAM 则联合建模 \(p(\mathbf{o}_{t:t+H},\mathbf{a}_{t:t+H}|\mathbf{o}_{0:t},\mathbf{c})\),直接产出与预测视觉未来对齐的动作轨迹,无需测试时优化,从而实现 7Hz 的实时闭环控制,同时继承视频预训练的丰富时空先验。
B 双向 vs. 自回归 WAM
图 13 说明了双向 WAM 在训练闭环系统时的核心难题:在长时程示范中,一条语言标注对应特定的视频区间。在双向架构中,若不做下采样,模型接收到语言指令(如“把黑色物体放进抽屉”),却通常只生成覆盖任务区间一小部分的视频,导致语言描述的动作在预测帧中尚未出现,造成显著的语言遵循退化(以内部视频预测基准衡量)。自然的办法是对视频下采样以匹配任务描述区间,但这对闭环训练带来新问题:我们需要模型能从任务中任意位置(而不仅是开头)接收观测;当采样点落在任务中段(如图 13 中 T=20)时,下采样会扭曲原生 FPS,使视频-动作对齐显著更难学习。自回归 WAM 通过以视频上下文为条件而非下采样,同时保留语言-视频对应与原生帧率,实现语言、视频与动作三种模态之间的紧密对齐。

图 13:双向 vs. 自回归 WAM。当采样点落在任务中段(T=20)时,双向 WAM 必须对视频下采样以对齐语言描述,从而扭曲原生 FPS、损害视频-动作对齐;自回归 WAM 以视频上下文为条件,避免了这种取舍,同时保留语言-视频对应与原生帧率。
C 模型与训练细节
- 每个 chunk 设为 \(K=2\) 个隐帧(初步结果显示 \(K=2\) 优于 \(K=1\));默认 chunk 数 \(M=4\),若轨迹长度不足则 \(M\) 可更小。
- AgiBot:视频以 5FPS、动作以 30Hz 采样,动作时域 \(H=48\),每个 chunk 视频与动作跨 1.6 秒。DROID:视频 5FPS、动作 15Hz,\(H=24\),同样每个 chunk 1.6 秒。
- 最大上下文长度为 8 个隐帧(4×2),相当于 33 个原始帧、跨度 6.6 秒;扩大视觉上下文留待未来工作。
- 图 14 展示训练与推理的注意力掩码:训练时当前带噪 chunk 的视频/动作可关注前序干净 chunk;推理时对条件帧计算 KV 缓存并拼接用于预测,且条件帧被替换为真实观测。
- 算法 1(训练):采样轨迹 → 编码为干净隐变量并归一化动作 → 切分为 \(M\) 个 chunk → 对每个 chunk 以教师强制历史为干净上下文,采样 \(t_k\sim\mathcal{U}(0,1)\)(Flash 模式下 \(t_{vid}\sim\text{Beta}(7,1)\)、\(t_{act}\sim\mathcal{U}(0,1)\))→ 按式 (2) 插值 → 预测速度并以式 (3) 的 MSE 更新。
- 算法 2(推理):先用初始图像预填充 KV 缓存;随后循环:从噪声出发做 \(N\) 步联合去噪(可用 DiT 缓存按余弦相似度复用速度)→ 对去噪后的动作滤波并异步执行 → 注入真实观测与状态,更新 KV 缓存并丢弃预测的视频隐变量。
D 实时执行细节
- CFG 并行:把条件与无条件打分分配到两块独立 GPU,每步延迟几乎减半,且不影响整体质量。
- DiT 缓存:不同于 TeaCache(相对 L1 差异启发式)与 TaylorSeer(泰勒展开外推),DreamZero 利用流匹配速度向量的方向一致性——当相邻速度余弦相似度超过阈值 \(\tau\) 时,在若干步窗口内跳过 DiT 前向并复用缓存速度,把平均 DiT 步数由 16 降到 4。
- 异步执行:推理与动作执行并发,运动控制器始终执行当前时间戳对应的最新动作,推理模块始终使用最新观测。
- Torch Compile + CUDA Graphs:使用 mode="reduce-overhead"、fullgraph=True、dynamic=False;覆盖扩散 Transformer、调度器、文本编码器、图像编码器与 VAE 五个组件;通过函数式范式把 KV 缓存显式作为输入输出,以支持无误编译。
- 训练后量化:借助 NVIDIA Model Optimizer,在 Blackwell(SM100)上把权重与激活量化为 NVFP4(E2M1),QKV 投影与 Softmax 保持 FP8(E4M3),LayerNorm、RoPE 等非线性操作用 FP16 累加。
- 内核与调度器:经 PyTorch SDPA 使用 cuDNN 注意力后端(需要 PyTorch ≥ 2.9);把 Flow UniPC 调度器中依赖 CPU 的操作迁移到 GPU。
- DreamZero-Flash 公式:标准设置中 \(t_k^{\text{video}}=t_k^{\text{action}}=t_k\sim\mathcal{U}(0,1)\)(式 4)。Flash 令
\[ t_{k}^{\text{video}}=1-\eta,\quad \eta\sim\text{Beta}(\alpha,\beta),\quad t_{k}^{\text{action}}\sim\mathcal{U}(0,1),\qquad \alpha>\beta \tag{5} \]对 Beta(7,1),\(\mathbb{E}[\eta]=0.875\),因此 \(\mathbb{E}[t_k^{\text{video}}]=0.125\)(耦合设置下为 0.5)。
- 动作平滑:先用三次插值把动作 chunk 上采样 2 倍,再用 Savitzky-Golay 滤波(窗口 21、多项式阶数 3),最后下采样回原分辨率。
E AgiBot 多样数据采集策略
我们的采集理念是“多样性优先于重复”,数据覆盖 22 个真实环境(家庭、餐厅、超市、咖啡店、办公室、仓库、实验室、酒店等,见图 15)。每天,遥操作员领取列出所负责区域可用任务的打印任务单;每个 episode 选择三个(通常很粗粒度,如“收拾整理”)任务连续执行,每个任务约 1–2 分钟,episode 约 5 分钟。每日结束时记录任务次数,一旦某任务已采集 50 个 episode,就从任务单中淘汰;操作员被鼓励提出新任务,这一机制持续扩展任务分布,形成多样行为的长尾。三任务 episode 结构既最大化单个 episode 内的多样性,也促使模型学习平滑的任务切换,平均每个 episode 约 42 个子任务(图 6)。更多样例见 training_data_gallery。

图 15:数据采集环境。我们在 22 个多样的真实环境中采集遥操作数据,包括办公室、实验室、餐厅、超市、咖啡店、仓库、家庭、酒店与零售店。这种多样性使 DreamZero 无需任务特定微调即可泛化到未见环境。
F AgiBot 评测细节
原文表 5 与表 6 列出了 AgiBot 已见任务与未见任务的评测设置:每行给出 4 台机器人的初始帧与指令;每个任务每台机器人进行 2 次 rollout,改变物体、位置及所使用的机械臂(多数以左臂为主)。未见任务示例包括解鞋带、取放帽子、画圆等。
G DROID 评测细节
原文表 7(a)/7(b) 列出 DROID 的已见与未见任务设置,每个任务通过改变物体位置做 2 次 rollout。未见任务使用 DROID 中不存在的动词,例如“Slice the bread with the knife”、“Type ’hi’ on the keyboard”、“Cinch the drawstring of the bag”、“Weave the wire through the holes of the box”等。
H 失败案例分析

图 16:生成视频与真实执行对照示例。多数失败源于视频生成误差而非动作提取——策略忠实地执行视频所预测的轨迹。
图 16 展示了 AgiBot 与 DROID 上 DreamZero 生成视频与执行 rollout 的对照。总体而言,机器人执行遵循视频模态生成的视觉规划:AgiBot 上,生成视频中机器人用左臂拿起马克笔并传递给右臂,实际执行中也拿起了笔的上端,却没有在白板上画线,而是把笔交给了右臂;DROID 上,生成视频先打开烤箱,机器人随之照做。这两个例子说明失败主要来自视频预测的错误,而机器人忠实地执行了错误的视觉计划。