MoE 训练手册

混合专家模型的路由、负载均衡、专家并行与训练/推理系统实践。

前置阅读

MoE 架构:发展史、原理与 Qwen3.5-397B-A17B 拆解

从 1991 年的混合专家讲到 512 专家的 Qwen3.5:路由、负载均衡、细粒度专家、专家并行,并按官方配置逐层算出 397B 与 17B。

HF 译本

MoE 训练终极手册

Hugging Face《The Ultimate MoE Training Handbook》中文版。保留原文交互图与动画;涵盖 router、balancing、EP 与 serving。

并行摆放 · 交互动画

GenFirst · Qwen3.5-397B 启动与并行摆放

208 节点 TP=2/PP=4/EP=16:启动链路、supernode 重排 NODE_RANK、Megatron 连续编号建组自检,以及 PP/EP/TP 切分关系动画。