用 208 节点 × 8 PPU、TP=2 / PP=4 / EP=16 的真实启动命令,讲清:启动链路、supernode 重排 NODE_RANK、Megatron 连续编号建组,以及 PP / EP / TP 各自切什么。
素材来自内部 GenFirst 仓库的 train_retry.sh → train_bagel_megatron.sh → supernode_order.py → qwen35/train.py。核心结论:
NODE_RANK。megatron_groups() 自检:TP/PP/EP 跨 supernode 直接失败退出。环境变量分组、巡检选机、ClusterUUID 探测、uneven 布局、保证链路、SSH/torchrun、PP 层切分、TP/EP/DP、通信域、1F1B 与 checkpoint 重试。
交互动画 · 9 步先用 PP 切层,再在 stage 内用 EP 切专家、TP 切 Attention;一个 EP=16 组里嵌着 8 个 TP 对,过一层时先 TP 后 EP。
← 返回 MoE 训练手册 · 相关:MoE 架构与 397B 拆解