Anger / MoE 训练手册 / GenFirst 397B 并行 / 启动全流程

Qwen3.5-397B-A17B 理解训练 · 从启动命令到 PPU 的完整流程

基于 scripts/train_retry.sh → train_bagel_megatron.sh → supernode_order.py → qwen35/train.py 的真实逻辑;参数取自启动命令(NNODES=208 TP=2 PP=4 EP=16 MICRO=96 TOKENS=8192 …)。

STEP 1 / 10

    关键参数(启动命令)

    推导出的规模

    通信域图例

    TP=2 · 同节点相邻 2 卡(sequence parallel) EP=16 · 2 节点块内 all-to-all PP=4 · 同 supernode 内 stage 间 P2P DP=208 · 跨 supernode(RDMA)RS/AG

    流程目录