GenFirst · Qwen3.5-397B 启动与并行摆放

用 208 节点 × 8 PPU、TP=2 / PP=4 / EP=16 的真实启动命令,讲清:启动链路、supernode 重排 NODE_RANK、Megatron 连续编号建组,以及 PP / EP / TP 各自切什么。

素材来自内部 GenFirst 仓库的 train_retry.sh → train_bagel_megatron.sh → supernode_order.py → qwen35/train.py。核心结论:

交互动画 · 11 步

启动全流程:从命令到 PPU

环境变量分组、巡检选机、ClusterUUID 探测、uneven 布局、保证链路、SSH/torchrun、PP 层切分、TP/EP/DP、通信域、1F1B 与 checkpoint 重试。

交互动画 · 9 步

PP / EP / TP 关系讲解

先用 PP 切层,再在 stage 内用 EP 切专家、TP 切 Attention;一个 EP=16 组里嵌着 8 个 TP 对,过一层时先 TP 后 EP。

← 返回 MoE 训练手册 · 相关:MoE 架构与 397B 拆解