Anger/ Robot/ 数据采集/ EgoEngine 原文
EgoEngine
EgoEngine:从第一人称人类视频到高保真灵巧操作机器人演示
摘要

灵巧操作受制于大规模机器人演示数据的采集成本。 第一人称(egocentric)人类视频能提供可扩展、多样化的操作行为,但直接用于机器人学习需要跨越两道鸿沟:人类与机器人观测之间的视觉差距,以及人类运动与机器人可执行动作之间的动作差距。 我们提出 EgoEngine,一套可扩展框架,把第一人称人类操作视频转化为高保真机器人数据。 给定一段第一人称 RGB 视频,EgoEngine 输出: (i)高保真机器人观测视频——用人形机器人替换画面中的人,同时保留场景上下文与时间对齐; (ii)在可行性约束下、与任务对齐的可执行机器人动作轨迹。 仿真与真机实验表明,EgoEngine 能够规模化地把人类视频转成机器人数据;据我们所知,这是首次在没有真机演示的情况下,从第一人称人类视频做零样本视觉运动灵巧策略学习。

EgoEngine 预览图
方法概览
EgoEngine 流水线概览

EgoEngine 是一套可扩展的数据引擎,把第一人称人类视频转换成机器人演示。 给定人类视频后,EgoEngine 构建数字孪生,并同时生成 (1)高保真、时间一致的机器人观测视频,以及 (2)与视频对齐的可执行动作轨迹。 生成的演示作为下游视觉运动策略的训练数据,从而支持零样本执行。

视觉生成

下面给出机器人观测生成的定性结果,以及来自 TACO 与 Aria 的数据集规模示例。

定性对比

从左到右:人类输入、EgoMimic、VACE(WAN2.1)、Masquerade、EgoEngine。

数据集规模可视化

每个任务展示:输入的第一人称视频、对应仿真回放,以及 EgoEngine 生成的观测。

真机观测迁移

每个任务给出成对真机示例,对比人类前景观测与 EgoEngine 生成的机器人前景观测。
部分示例采集于更早的机器人配置与 Aria Gen 1 眼镜。

动作生成

以下为 EgoEngine 在 TACO 与 Aria 任务上生成的可执行动作轨迹。

人类视频
精修轨迹回放
仿真

EgoEngine 把第一人称人类视频映射为数字孪生回放,再精修成长时程灵巧操作的可执行真机轨迹。

出于安全考虑,我们在 z 轴加了偏移,并在刀下垫海绵,以避免与桌面碰撞。

轨迹精修

上行是 TACO 任务,下行是 Aria 任务;两条轨道可独立浏览。

策略评测

以下为用 EgoEngine 生成演示训练得到的策略在真机上的 rollout。

真机 Rollout

遥操作 3x
EgoEngine 1x

Rollout 表现

代表性定量对比。更多结果见论文。

四个 Aria 任务上的策略成功率对比
四个 Aria 任务上的策略成功率(SR)。EgoEngine 使得从第一人称人类视频做零样本真机策略学习成为可能,相对从人类视频直接重定向以及 Phantom 等基线有明显提升,在若干任务上接近真机遥操作。
视觉生成与动作生成对零样本策略学习的消融
消融表明:可执行动作生成贡献最大,视觉生成还有额外收益。两条支路合用时,零样本策略学习效果最好。