总览
| 符号 | 含义 | 取值 | 来源 |
|---|---|---|---|
| B | batch | 1 | compile static |
| V | camera views | 3 | intent / 0001 |
| Timg | 每路进 VLM 的时序帧 | 2 | current + 1 history |
| Nimg | 进 ViT 的图像数 = V×Timg | 6 | vit_num_images |
| Hpx×Wpx | processor 后尺寸 | 256×256 | image_target_size(bench 原始 240×320) |
| ps / Tpatch | ViT patch / temporal patch | 16 / 2 | config |
| Cin | patch in = C·T·ps·ps | 1536 | 3·2·16·16 |
| P | raw ViT patches | 1536 | 6×256 |
| m | spatial merge | 2 | config |
| Nv | merge 后 image tokens | 384 | P/m² |
| Se | VL 序列长度(compile static) | 448 | 384 image + 64 text pad |
| Ltext_pad | text pad 预算 | 64 | plan note |
| Lv | 实际有效 text tokens | UNKNOWN | 随 prompt 变;pad 到 64 |
| Dvl | backbone / LLM hidden | 2048 | config |
| Dvit | ViT hidden | 1024 | config |
| Ddit / Din | DiT inner = heads×head_dim | 1536 | 32×48 |
| Dhid | DiT / MLP hidden | 1024 | hidden_size |
| H | action horizon | 40 | 本 ckpt;产品目标 50 未冻结 |
| Sa | state+action seq into DiT | 41 | 1+H |
| Dact_pad | graph 内 max action/state dim | 132 | config |
| Dact_eff | XDOF 有效动作维 | 32 | pad 到 132;布局 UNKNOWN |
| Ndenoise | Euler / FM steps | 4 | config / attrs |
| buckets | timestep 离散桶 | 1000 | config |
| emb_id | 默认 XDOF embodiment id | 27 | attrs |
| dtype | TVM deliver / PT official | fp16 / bf16 | attrs / Isaac |
理论 FLOP 合计(B=1):≈ 2626 GFLOP / infer(vision 1049 + llm 748 + cond 187 + loop 642)。ViT 24 层 · heads 16 · hd 64 · FFN 4096 · deepstack (5,11,17);LLM
select_layer=16 · GQA 16Q/8KV · hd 128;VL-SA 4×32×64;DiT 32 · 32×48 · attend_text_every_n_blocks=2。对照 π0.5:无 KV cache,backbone 只跑一次,DiT 每步 cross-attn 重读固定 vl_embs。Once vs ×4
| 每推理只跑一次 | 每个 Euler 步(×4) |
|---|---|
| Image preprocess + patchify | action_encoder(+pos embed) |
embed_vision(ViT) | AlternateVLDiT 全 32 blocks(self+cross) |
| Host: embed_tokens / scatter / mRoPE | action_decoder |
backbone_llm(16 layers, full Se) | Euler: x ← x + dt·v |
encode_condition(VLLN+VL-SA+state) | |
Sample actions0 noise | |
Build image_mask / backbone_attention_mask |
相对 π0.5 不存在:LLM KV cache;expert suffix decode;baked prefix RoPE for LLM;10-step Gemma expert。
Timing / FLOP(Thor lock)
锁频:gpc 1575 / nvd 1692 MHz。目标 15 Hz = 66.7 ms,0003 仍差 ~67 ms。
| ID | Stack | e2e p50 | Hz | Notes |
|---|---|---|---|---|
| 0001 | PyTorch eager XDOF SDPA | 193.617 ms | 5.17 | Full policy; H=40; 4 denoise |
| v2 early | UniRT pre-flash | 141.523 ms | 7.1 | LLM input random |
| 0002 | + ViT flash | 144.481 ms | 6.92 | 同会话对比旧 170.7 |
| 0003 | + LLM flash(当前 TVM 交付) | 133.683 ms | 7.48 | 正式 note |
| wall_0003 | 同 pack stage walls | 132.0 ms | 7.57 | vision 18.7 / llm 28.2 / enc 6.6 / loop 73.7 |
FLOP 合计(theory):~2626 GFLOP / infer。Bottleneck:ViT layout+attn;LLM gemm/weight BW(~1.5 GiB);DiT small-M gemm / weight BW ×4(~65 FLOP/B,~2.3 GiB weights)。
| Stage | p50 (v2 early) | p50 (0003 / wall) | FLOP |
|---|---|---|---|
embed_vision | ~42.8 → 19.2 ms | 18.7 ms | ~1049 GFLOP · ~405 M params |
backbone_llm | ~32.6 ms | 28.2–29.0 ms | ~748 GFLOP · ~805 M params |
encode_condition | ~5.8–6.6 ms | 6.6 ms | ~187 GFLOP · ~256 M params |
denoise_step | 15.3 ms | ~19.1 ms | ~161 GFLOP / step |
denoise_loop ×4 | 59.0 ms | 73.7 ms | ~642 GFLOP |
对照 π0.5
关键差异:π0.5 保留 VLM prefix KV,供 10 步 Expert 去噪复用。GR00T N1.7 不导出 KV decode 路径:backbone(ViT+LLM)作为 feature extractor 只跑一次;DiT 每 Euler 步通过 cross-attention 重读固定
vl_embs。
| π0.5 | GR00T N1.7 | |
|---|---|---|
| Vision | SigLIP-So400m | Qwen3-VL ViT(Cosmos-Reason2-2B visual) |
| Language backbone | PaliGemma / Gemma-2B ×18 → KV | Qwen3-VL Text truncated ×16,无 KV |
| Action head | Gemma-300M expert(读 KV) | AlternateVLDiT 32(self/cross + image/text mask) |
| Denoise steps | Euler 10 | Euler / FM 4 |
| Horizon / pad dim | H=50, A=32→7 | H=40, D_pad=132→eff≈32 |
| Seq | prefix P=968 + suffix 50 | Se=448 VL;Sa=41 into DiT |
| dtype(交付) | bf16(部分 fp32) | fp16(TVM) |
UNKNOWN / 开放缺口
- Lv / 语言 token 布局:真实 XDOF prompt 的有效 text 长度、特殊 token、image placeholder 在 Se=448 内的位置 — 仅文档化「384 image + 64 text pad」。
- image_mask 索引范围:True 在 image token 位;6-view merge 后的精确 index range 无 host dump。
- XDOF 132→32 打包:哪 32 维是有效 eef/joints/gripper 顺序 UNKNOWN。
- Horizon 50:产品目标;当前冻结形状 H=40。
- Denoise 步数产品选择:intent 仍「未定」是否保持 4。
- Host glue wall:UniRT e2e_full 常用 random LLM inputs(无 embed_tokens/scatter/get_rope_index);0001 PT 含 preprocess+decode。
- Isaac 默认过旧:勿把 select_layer=12 / DiT=16 当作 N1.7-3B 真相(真值 16/32)。
- Deepstack 注入时序:mlc-vla 在 layer 0,1,2 后 add;与 HF/ONNX 完全对齐需再确认。
- DiT/ViT 层内中间激活 shape:块 I/O 恒为 [B,S,D];QKV 布局见 modules,未单独测量。