灵巧操作受制于大规模机器人演示数据的采集成本。 第一人称(egocentric)人类视频能提供可扩展、多样化的操作行为,但直接用于机器人学习需要跨越两道鸿沟:人类与机器人观测之间的视觉差距,以及人类运动与机器人可执行动作之间的动作差距。 我们提出 EgoEngine,一套可扩展框架,把第一人称人类操作视频转化为高保真机器人数据。 给定一段第一人称 RGB 视频,EgoEngine 输出: (i)高保真机器人观测视频——用人形机器人替换画面中的人,同时保留场景上下文与时间对齐; (ii)在可行性约束下、与任务对齐的可执行机器人动作轨迹。 仿真与真机实验表明,EgoEngine 能够规模化地把人类视频转成机器人数据;据我们所知,这是首次在没有真机演示的情况下,从第一人称人类视频做零样本视觉运动灵巧策略学习。
EgoEngine 是一套可扩展的数据引擎,把第一人称人类视频转换成机器人演示。 给定人类视频后,EgoEngine 构建数字孪生,并同时生成 (1)高保真、时间一致的机器人观测视频,以及 (2)与视频对齐的可执行动作轨迹。 生成的演示作为下游视觉运动策略的训练数据,从而支持零样本执行。
下面给出机器人观测生成的定性结果,以及来自 TACO 与 Aria 的数据集规模示例。
以下为 EgoEngine 在 TACO 与 Aria 任务上生成的可执行动作轨迹。
以下为用 EgoEngine 生成演示训练得到的策略在真机上的 rollout。
代表性定量对比。更多结果见论文。