混合专家模型的路由、负载均衡、专家并行与训练/推理系统实践。
从 1991 年的混合专家讲到 512 专家的 Qwen3.5:路由、负载均衡、细粒度专家、专家并行,并按官方配置逐层算出 397B 与 17B。
HF 译本Hugging Face《The Ultimate MoE Training Handbook》中文版。保留原文交互图与动画;涵盖 router、balancing、EP 与 serving。
并行摆放 · 交互动画208 节点 TP=2/PP=4/EP=16:启动链路、supernode 重排 NODE_RANK、Megatron 连续编号建组自检,以及 PP/EP/TP 切分关系动画。