GR00T N1.7 推理流程(教学视频)
从原始观测到 40 步关节动作:预处理、Qwen3-VL 视觉编码、截断的 Qwen3 语言模型、条件编码、4 步流匹配去噪(AlternateVLDiT)和动作解码,逐步标出输入输出形状。
1920×1080,约 3 分 09 秒,中文讲解。形状按 nvidia/GR00T-N1.7-3B 权重、B=1、3 路相机 × 2 帧的部署配置。
每一步的输入、输出与计算
| 步骤 | 输入 | 输出 | 计算 |
|---|---|---|---|
| 1 输入 | video.<view> uint8 (B,T,H,W,3) ×3 路 · state.<key> float32 (B,1,D) · 指令 · embodiment_tag | — | Gr00tPolicy.check_observation 校验 |
| 2 预处理 | 原始观测 | input_ids [1,448] · pixel_values [1536,1536] · image_grid_thw [6,3] · state [1,1,132] · embodiment_id [1] | 图像缩放 → 中心裁剪 230/256 → 256²;指令小写去标点 + 聊天模板;状态归一化并补零到 132;collator 转 bf16 |
| 3 视觉编码 | pixel_values [1536,1536] | image_embeds [384,2048] + deepstack 3×[384,2048] | Conv3d patch embed → 1024;24 层 ViT(16 头,FFN 4096);2×2 合并 + MLP → 2048;第 5/11/17 层抽 deepstack |
| 4 语言模型 | input_ids + image_embeds | backbone_features [1,448,2048] · image_mask [1,448] | embed_tokens → 填入图像位置 → mRoPE;Qwen3 前 16 层(GQA 16Q/8KV,head 128,FFN 6144);第 0/1/2 层后加 deepstack;无 KV 缓存 |
| 5 条件编码 | backbone_features, state, embodiment_id | vl_embs [1,448,2048] · state_features [1,1,1536] | LayerNorm + 4 层 VL 自注意力;状态走按本体选权重的 MLP 132→1024→1536 |
| 6 去噪 ×4 | 噪声 a [1,40,132],t ∈ {0, .25, .5, .75} | action_pred [1,40,132] | action_encoder(W1 132→1536,拼 sin-cos(t) → 3072 → W2·swish → W3)+ 位置编码 → 拼状态 [1,41,1536] → DiT → [1,41,1024] → action_decoder 1024→1024→132 取后 40 个 = v → a += 0.25·v |
| 7 DiT 内部 | [1,41,1536] + vl_embs + temb | [1,41,1024] | 32 层,32 头×48;奇数层自注意力,偶数层交叉注意力(idx%4==0 看文字,==2 看图像);AdaLN 注入时间步;FFN GELU 1536→6144 |
| 8 解码 | action_pred [1,40,132] | action.<key> float32 (1,40,D_k) | 按关节组切片 → 反归一化 → 相对动作加回当前状态 |
注意:Isaac-GR00T 仓库 gr00t/configs/model/gr00t_n1d7.py 中的默认值(select_layer=12、DiT 16 层)比发布的 N1.7-3B 权重旧;
视频按权重实际值(LLM 16 层、DiT 32 层、VL 自注意力 4 层)绘制。448 是部署时固定的 VL 序列长度(384 图像 + 64 文本预算),PyTorch 原版按实际长度动态 padding。
耗时数据来自 推理计算全流程 页(Jetson Thor,mlc-vla TVM fp16)。