首页 / Robot / 推理部署 / GR00T N1.7 / 推理流程视频
VIDEO Isaac-GR00T · gr00t_n1d7 · 约 3 分钟 · 含讲解

GR00T N1.7 推理流程(教学视频)

从原始观测到 40 步关节动作:预处理、Qwen3-VL 视觉编码、截断的 Qwen3 语言模型、条件编码、4 步流匹配去噪(AlternateVLDiT)和动作解码,逐步标出输入输出形状。

1920×1080,约 3 分 09 秒,中文讲解。形状按 nvidia/GR00T-N1.7-3B 权重、B=1、3 路相机 × 2 帧的部署配置。

每一步的输入、输出与计算

步骤输入输出计算
1 输入video.<view> uint8 (B,T,H,W,3) ×3 路 · state.<key> float32 (B,1,D) · 指令 · embodiment_tag—Gr00tPolicy.check_observation 校验
2 预处理原始观测input_ids [1,448] · pixel_values [1536,1536] · image_grid_thw [6,3] · state [1,1,132] · embodiment_id [1]图像缩放 → 中心裁剪 230/256 → 256²;指令小写去标点 + 聊天模板;状态归一化并补零到 132;collator 转 bf16
3 视觉编码pixel_values [1536,1536]image_embeds [384,2048] + deepstack 3×[384,2048]Conv3d patch embed → 1024;24 层 ViT(16 头,FFN 4096);2×2 合并 + MLP → 2048;第 5/11/17 层抽 deepstack
4 语言模型input_ids + image_embedsbackbone_features [1,448,2048] · image_mask [1,448]embed_tokens → 填入图像位置 → mRoPE;Qwen3 前 16 层(GQA 16Q/8KV,head 128,FFN 6144);第 0/1/2 层后加 deepstack;无 KV 缓存
5 条件编码backbone_features, state, embodiment_idvl_embs [1,448,2048] · state_features [1,1,1536]LayerNorm + 4 层 VL 自注意力;状态走按本体选权重的 MLP 132→1024→1536
6 去噪 ×4噪声 a [1,40,132],t ∈ {0, .25, .5, .75}action_pred [1,40,132]action_encoder(W1 132→1536,拼 sin-cos(t) → 3072 → W2·swish → W3)+ 位置编码 → 拼状态 [1,41,1536] → DiT → [1,41,1024] → action_decoder 1024→1024→132 取后 40 个 = v → a += 0.25·v
7 DiT 内部[1,41,1536] + vl_embs + temb[1,41,1024]32 层,32 头×48;奇数层自注意力,偶数层交叉注意力(idx%4==0 看文字,==2 看图像);AdaLN 注入时间步;FFN GELU 1536→6144
8 解码action_pred [1,40,132]action.<key> float32 (1,40,D_k)按关节组切片 → 反归一化 → 相对动作加回当前状态

注意:Isaac-GR00T 仓库 gr00t/configs/model/gr00t_n1d7.py 中的默认值(select_layer=12、DiT 16 层)比发布的 N1.7-3B 权重旧; 视频按权重实际值(LLM 16 层、DiT 32 层、VL 自注意力 4 层)绘制。448 是部署时固定的 VL 序列长度(384 图像 + 64 文本预算),PyTorch 原版按实际长度动态 padding。 耗时数据来自 推理计算全流程 页(Jetson Thor,mlc-vla TVM fp16)。