Anger / MoE 训练手册 / GenFirst 397B 并行 / PP / EP / TP

PP / EP / TP 到底怎么叠在一起?

这台作业:PP=4,EP=16,TP=2。先记:PP 切层 → stage 内 EP 切专家、TP 切 Attention;TP 对在同节点相邻 2 卡。

STEP 1 / 6

WORLD = TP × PP × DP = 2 × 4 × 208 = 1664
WORLD = EP × PP × expert-DP = 16 × 4 × 26 = 1664
每个 stage:STAGE = 416 = TP×DP = EP×expert-DP

键盘 ← → 切换,空格播放/暂停。完整启动流程见同目录的 qwen35_397b_launch_flow.html。