ACT(Action Chunking with Transformers)
ACT 是面向模仿学习的轻量高效策略,尤其适合细粒度操作任务。 因训练快、算力要求低、效果好,LeRobot 通常把它作为入门首选模型。
中文译本 · 原文 Hugging Face · LeRobot ACT · 同系列还可读 ALOHA / ACT 原论文
模型概览
Action Chunking with Transformers(ACT)出自 Zhao 等人的论文 Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (arXiv: 2304.13705)。 设计目标是:用低成本硬件和少量示教数据,完成精确、接触丰富的操作任务。
为什么适合入门
- 训练快:单卡 GPU 上几小时量级即可完成训练
- 轻量:约 8000 万参数,好跑也好改
- 数据高效:常见任务上几十条示教(例如约 50 条)就能拿到较高成功率
架构
ACT 基于 Transformer,主要有三块:
- 视觉骨干:ResNet-18 处理多路相机图像
- Transformer Encoder:融合相机特征、关节位置,以及学到的 latent 变量
- Transformer Decoder:用 cross-attention 生成连贯的动作序列
输入包括:
- 多路 RGB 图像(如腕部相机、前视 / 俯视相机)
- 当前机器人关节位置
- latent 风格变量
z(训练时学习;推理时置零)
输出是未来 k 步动作组成的一个 chunk。
安装要求
- 按 LeRobot 安装指南 安装 LeRobot。
- ACT 已包含在基础安装中,无需额外依赖。
训练 ACT
ACT 可直接走标准 LeRobot 训练管线。在自己的数据集上训练示例:
lerobot-train \
--dataset.repo_id=${HF_USER}/your_dataset \
--policy.type=act \
--output_dir=outputs/train/act_your_dataset \
--job_name=act_your_dataset \
--policy.device=cuda \
--wandb.enable=true \
--policy.repo_id=${HF_USER}/act_policy
训练提示
- 先用默认超参:多数任务上默认配置已经够用
- 训练时长:单卡跑约 10 万 step,通常需要几小时
- Batch size:可从 8 起步,再按显存调整
用 Google Colab 训练
本机没有合适 GPU 时,可用 Google Colab。详见 ACT 训练 notebook。
评测 ACT
训练完成后,可用 lerobot-rollout 加载策略做推理,并记录评测 episode:
lerobot-rollout \
--strategy.type=base \
--policy.path=${HF_USER}/act_policy \
--robot.type=so101_follower \
--robot.port=/dev/ttyACM0 \
--robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}}" \
--display_data=true \
--task="Your task description" \
--duration=60
对 ACT 来说,--task 可以省略。