首页 / Robot / 模型训练 / ACT / LeRobot 入门
02 LeRobot · ACT

ACT(Action Chunking with Transformers)

ACT 是面向模仿学习的轻量高效策略,尤其适合细粒度操作任务。 因训练快、算力要求低、效果好,LeRobot 通常把它作为入门首选模型。

中文译本 · 原文 Hugging Face · LeRobot ACT · 同系列还可读 ALOHA / ACT 原论文

模型概览

Action Chunking with Transformers(ACT)出自 Zhao 等人的论文 Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (arXiv: 2304.13705)。 设计目标是:用低成本硬件和少量示教数据,完成精确、接触丰富的操作任务。

为什么适合入门

架构

ACT 基于 Transformer,主要有三块:

  1. 视觉骨干:ResNet-18 处理多路相机图像
  2. Transformer Encoder:融合相机特征、关节位置,以及学到的 latent 变量
  3. Transformer Decoder:用 cross-attention 生成连贯的动作序列

输入包括:

输出是未来 k 步动作组成的一个 chunk。

安装要求

  1. 按 LeRobot 安装指南 安装 LeRobot。
  2. ACT 已包含在基础安装中,无需额外依赖。

训练 ACT

ACT 可直接走标准 LeRobot 训练管线。在自己的数据集上训练示例:

lerobot-train \
  --dataset.repo_id=${HF_USER}/your_dataset \
  --policy.type=act \
  --output_dir=outputs/train/act_your_dataset \
  --job_name=act_your_dataset \
  --policy.device=cuda \
  --wandb.enable=true \
  --policy.repo_id=${HF_USER}/act_policy

训练提示

  1. 先用默认超参:多数任务上默认配置已经够用
  2. 训练时长:单卡跑约 10 万 step,通常需要几小时
  3. Batch size:可从 8 起步,再按显存调整

用 Google Colab 训练

本机没有合适 GPU 时,可用 Google Colab。详见 ACT 训练 notebook。

评测 ACT

训练完成后,可用 lerobot-rollout 加载策略做推理,并记录评测 episode:

lerobot-rollout \
  --strategy.type=base \
  --policy.path=${HF_USER}/act_policy \
  --robot.type=so101_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
  --display_data=true \
  --task="Your task description" \
  --duration=60

对 ACT 来说,--task 可以省略。