Anger/ Robot/ 推理部署/ π₀.₅/ 推理计算全流程

π0.5 推理计算全流程(openpi PyTorch 实现)

对照 openpi/src/openpi/models_pytorch/pi0_pytorch.py · sample_actions。每个步骤都标了输入/输出的 dtype 与 shape;点击步骤卡片展开,看计算细节、原理和动画。

batch B = 1 3 路相机 224×224 max_token_len = 200 VLM: PaliGemma (SigLIP-So400m + Gemma-2B) Action Expert: Gemma-300M action_horizon = 50 模型 action_dim = 32 → 输出 7 Flow Matching · Euler 10 步 权重 bf16(norm / patch / pos 保留 fp32)

总览

符号含义取值
Nimg每张图的 patch token 数(224/14)²256
L语言 token 长度(含 Task 模板 + 离散 State + "Action: ",右侧 pad)200
Lv其中有效 token 数(随 prompt 变化;下文示例实测 52)52
Pprefix 长度 = 3·256 + 200968
Pvprefix 有效 token 数 = 768 + Lv820
Haction horizon(suffix 长度)50
A模型内部动作维度(pad 到 32)32
Ds机器人原始 state 维度(示例 LIBERO = 8)8
粗略计算量(B=1,估算,只算 matmul):SigLIP 3 图 ≈ 0.63 TFLOP;Gemma-2B prefill ≈ 3.9 TFLOP;Expert 每步 ≈ 31 GFLOP × 10 步 ≈ 0.31 TFLOP。prefix 只算一次,结果以 KV cache 形式给 10 步去噪复用。