MoE 架构:发展史、原理与 Qwen3.5-397B-A17B 拆解
《MoE 训练终极手册》默认读者已经熟悉混合专家模型。这篇是它的前置读物:先讲 MoE 从哪里来、为什么能用更少的计算换来更大的模型,再把路由、负载均衡、专家并行这些手册里反复出现的概念讲透,最后用 Qwen3.5-397B-A17B 的真实配置逐层算一遍。
qwen3_5_moe 的实现。1为什么需要 MoE
稠密 Transformer 有一个朴素的约束:每个 token 都要经过模型的每一个参数。参数量翻倍,每个 token 的计算量(FLOPs)也跟着翻倍。而模型能力大致随参数量增长,于是“更聪明”和“更便宜”天然冲突。
混合专家(Mixture-of-Experts,MoE)打破的正是这条约束。它把 Transformer 中最占参数的前馈网络(FFN)拆成许多个小 FFN,称为专家,再加一个很小的路由器:每个 token 只被送进其中少数几个专家。于是模型有两个参数量:
- 总参数:所有专家加起来的参数,决定模型能“记住”多少知识,也决定要占多少显存。
- 激活参数:单个 token 实际用到的参数,决定每个 token 的计算量。
Qwen3.5-397B-A17B 名字里的 397B 和 A17B 就是这两个数:总参数约 397B,激活约 17B,只有约 4.4%。它的推理计算量接近一个 17B 稠密模型,容量却远大于后者。代价也很明确:显存要装下全部 397B,训练时专家分散在很多张卡上,token 需要跨卡来回搬运。这些代价正是《MoE 训练终极手册》要解决的问题。
2发展史:从 1991 到 2026
MoE 的思想比 Transformer 早了二十多年。它的演进大致分成四个阶段:经典混合专家、稀疏门控进入深度学习、开源大模型普及、细粒度专家与混合注意力。点击每一项展开细节。
三条贯穿始终的主线
回头看这三十多年,MoE 的改进几乎都落在三个问题上:
- 路由怎么选:从 softmax 加权全部专家,到噪声 Top-k,到 Top-1,再到 Top-8、Top-10;从 token 选专家,到专家选 token。
- 负载怎么均衡:从辅助损失(aux loss),到 z-loss 稳定路由 logits,到 DeepSeek-V3 的无辅助损失偏置,再到全局批次统计负载。
- 专家怎么切:从 8 个大专家,到几百个小专家加共享专家。专家越细,组合越多,但通信和负载均衡也越难。
3原理
3.1 MoE 层长什么样
一个标准 Transformer 块由注意力和 FFN 两部分组成。MoE 只改 FFN:把一个大 FFN 换成 N 个小 FFN(专家)加一个路由器。注意力、归一化、残差连接都保持不变。
每个专家通常就是一个 SwiGLU FFN,有三个矩阵:gate_proj、up_proj(隐藏维 h → 中间维 I)和 down_proj(I → h),参数量是 3·h·I。
3.2 路由器与 Top-k
路由器只是一个线性层 Wr(形状 N × h)。对每个 token 的隐藏向量 x,它给出 N 个分数,取最高的 k 个专家,把这 k 个专家的输出按权重相加:
T = TopK(s, k) # 选出 k 个专家的编号
gi = si / Σj∈T sj (i ∈ T) # 在选中的 k 个里重新归一化
y = Σi∈T gi · Experti(x)
最后一步重归一化让 k 个权重之和为 1,Qwen3 系列和 Qwen3.5 都这样做。下面的动画里,8 个 token 依次经过路由器,你可以调整 k 和专家数,观察每个专家收到多少 token。
3.3 负载均衡:MoE 训练的核心难题
路由器是和模型一起学的。训练初期某个专家碰巧学得好一点,路由器就更愿意把 token 发给它;它见到更多数据,变得更好,又吸引更多 token。这个正反馈会让少数专家垄断流量,其余专家几乎学不到东西,称为路由坍塌。在多卡训练中,负载不均还意味着一张卡忙、其他卡等,整体吞吐被最慢的那张卡拖住。
常见的三种对策:
| 方法 | 做法 | 代表 |
|---|---|---|
| 辅助损失(aux loss) | 在主损失外加 α·N·Σ fi·Pi。fi 是专家 i 实际收到的 token 比例,Pi 是路由器给它的平均概率。两者都均匀时这一项最小。α 太大会伤害语言模型本身的损失。 | GShard、Switch Transformer(α = 0.01);Qwen3.5 配置里 router_aux_loss_coef = 0.001 |
| z-loss | 惩罚路由 logits 的 logsumexp 平方,防止 logits 越来越大导致数值不稳定。它不直接管均衡,但能显著减少训练发散。 | ST-MoE |
| 无辅助损失偏置 | 给每个专家一个偏置 bi,只在选 Top-k 时加到分数上,不参与加权。专家过载就把 bi 调低,空闲就调高。均衡不通过梯度实现,因此不干扰主损失。 | DeepSeek-V3 |
下面的模拟用 8 个专家演示这三种情况。“无约束”时,被选中多的专家会继续被强化;另外两种方法会把负载拉回均匀。
3.4 细粒度专家与共享专家
早期 MoE(如 Mixtral 8x7B)用 8 个大专家、每个 token 选 2 个。DeepSeekMoE 提出另一种切法:把每个专家切得更细、数量更多,每个 token 选更多个。激活参数不变,但可选的组合数暴增:
| 配置 | 专家数 N | Top-k | 组合数 C(N, k) |
|---|---|---|---|
| Mixtral 8x7B | 8 | 2 | 28 |
| DeepSeek-V3 | 256 | 8 | ≈ 4.1 × 1014 |
| Qwen3.5-397B-A17B | 512 | 10 | ≈ 3.1 × 1020 |
组合越多,每个 token 能拼出越专门的“子网络”,专家之间的分工也更清楚。
共享专家是另一个补充:不管路由结果如何,每个 token 都会经过它。它负责所有 token 都需要的通用知识,让路由专家专注于差异化的部分。Qwen3.5 有 1 个共享专家,并给它加了一个 sigmoid 门:由 token 自己决定共享专家的输出要用多少。
3.5 总参数与激活参数:动手算一算
MoE 层的参数主要来自专家。设隐藏维 h、专家中间维 I、路由专家数 N、Top-k、共享专家中间维 Is:
每层激活参数 ≈ k · 3hI + 3hIs + N·h
3.6 专家并行与 All-to-All
单层 512 个专家放不进一张卡,训练和推理都会把专家分到多张卡上,叫专家并行(EP)。问题是 token 在数据并行下也是分散在各卡上的:卡 0 上的 token 可能要用卡 3 上的专家。于是每个 MoE 层前后各有一次 All-to-All 通信:
- Dispatch:每张卡按路由结果把 token 发到对应专家所在的卡。
- 各卡用本地专家计算收到的 token。
- Combine:把结果发回 token 原来所在的卡,按路由权重相加。
这就是手册里“通信暴露”“慢卡”“单卡 OOM”这些问题的来源:All-to-All 的数据量随 k 线性增长,负载不均会让最忙的卡同时成为计算瓶颈和显存瓶颈。
4Qwen3.5-397B-A17B 拆解
Qwen3.5-397B-A17B 是阿里通义千问在 2026 年发布的旗舰开源模型,原生支持图文输入。它的语言模型部分沿用了 Qwen3-Next 的路线:512 个细粒度专家 + 1 个共享专家,加上 Gated DeltaNet 线性注意力与门控全注意力 3:1 混合。下面只讨论语言模型部分,视觉编码器约 0.4B,单独存在。
4.1 配置一览
| 字段(config.json) | 取值 | 含义 |
|---|---|---|
hidden_size | 4096 | 隐藏维 h |
num_hidden_layers | 60 | Transformer 块数,每块都有 MoE(mlp_only_layers 为空) |
num_experts | 512 | 每层路由专家数 N |
num_experts_per_tok | 10 | Top-k |
moe_intermediate_size | 1024 | 每个路由专家的中间维 I |
shared_expert_intermediate_size | 1024 | 共享专家中间维 Is |
router_aux_loss_coef | 0.001 | 负载均衡辅助损失系数 |
layer_types / full_attention_interval | 每 4 层 1 层全注意力 | 其余 3 层为 Gated DeltaNet 线性注意力 |
num_attention_heads / num_key_value_heads / head_dim | 32 / 2 / 256 | 全注意力层:GQA,KV 只有 2 个头 |
linear_num_key_heads / linear_num_value_heads | 16 / 64 | 线性注意力:QK 16 个头、V 64 个头,头维均为 128 |
attn_output_gate | true | 注意力输出乘以 sigmoid 门 |
partial_rotary_factor | 0.25 | 只对 256 维中的 64 维做 RoPE |
max_position_embeddings | 262,144 | 原生上下文 256K,模型卡称可扩展到约 100 万 |
mtp_num_hidden_layers | 1 | 1 层多 token 预测(MTP)模块 |
vocab_size | 248,320 | 词表,输入嵌入与输出头不共享 |
4.2 60 层的排布
模型卡把布局写成 15 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE))。每一层的 FFN 都是 MoE,变化的只是注意力类型。点击任意一层查看它的组成。
4.3 一个 MoE 块的前向
下面是 transformers 中 Qwen3_5MoeSparseMoeBlock 的核心逻辑(为便于阅读做了精简):
# 路由器:softmax 在 fp32 下计算 logits = x @ W_router.T # [T, 512] probs = softmax(logits.float(), dim=-1) w, idx = topk(probs, k=10) # 每个 token 选 10 个专家 w = w / w.sum(-1, keepdim=True) # 在 10 个里重新归一化 # 路由专家:每个都是 SwiGLU,h=4096 → I=1024 → h routed = sum(w[:, j] * Expert[idx[:, j]](x) for j in range(10)) # 共享专家:所有 token 都经过,再乘一个逐 token 的 sigmoid 门 shared = sigmoid(x @ W_sg) * SharedExpert(x) y = routed + shared
逐步播放一个 token 的计算过程:
4.4 397B 和 17B 是怎么来的
按配置逐项计算(bf16 下每个参数 2 字节):
| 组件 | 单层参数 | 层数 | 总参数 | 每 token 激活 |
|---|---|---|---|---|
| 路由专家(512 × 3 × 4096 × 1024) | 6.44B | 60 | 386.5B | 7.55B(10/512) |
| 共享专家 + 门 | 12.6M | 60 | 0.76B | 0.76B |
| 路由器(512 × 4096) | 2.1M | 60 | 0.13B | 0.13B |
| Gated DeltaNet 注意力 | 118.0M | 45 | 5.31B | 5.31B |
| Gated Attention 注意力 | 104.9M | 15 | 1.57B | 1.57B |
| 输入嵌入 + 输出头(各 248,320 × 4096) | – | – | 2.03B | 2.03B |
| 合计(语言模型) | ≈ 396.3B | ≈ 17.35B |
加上约 0.4B 的视觉编码器,就是官方的 397B;激活约 17B 与名字里的 A17B 一致(不计 MTP 模块,它只在训练和投机解码时使用)。
4.5 混合注意力与显存
Qwen3.5 的另一半创新在注意力。全注意力的 KV cache 随上下文长度线性增长,到 256K 上下文时非常昂贵。Gated DeltaNet 是一种线性注意力:它不保存所有历史的 K 和 V,而是维护一个固定大小的状态矩阵,每来一个 token 就做一次带衰减的“删旧写新”更新(delta rule)。状态大小与上下文长度无关。
| 注意力类型 | 层数 | 缓存 | 随上下文增长 |
|---|---|---|---|
| Gated Attention(GQA,KV 头 2,头维 256) | 15 | 每 token 每层 2 × 2 × 256 × 2 字节 = 2 KB,15 层共 30 KB/token | 线性增长 |
| Gated DeltaNet(64 个 V 头,状态 128 × 128) | 45 | 每条序列 45 × 64 × 128 × 128 个 fp32 数 ≈ 189 MB | 固定不变 |
两个“门”也值得一提:全注意力的 q_proj 输出维度是普通的两倍,一半作为 query,另一半经过 sigmoid 后乘到注意力输出上(attn_output_gate);线性注意力也有一个输出门 z。这类门控能抑制注意力在个别 token 上的异常大值,对大规模训练的稳定性有帮助。
4.6 对训练意味着什么
把上面的数字和《MoE 训练终极手册》的主题对上:
- 显存:bf16 权重约 793 GB。混合精度 Adam 训练每参数约 16 字节(bf16 权重和梯度,fp32 主权重和两份动量),全模型约 6.3 TB 的权重与优化器状态,远超单机 8 卡,专家并行是必选项。
- 专家并行规模:单层路由专家 6.44B 参数,bf16 下约 12.9 GB。若 EP = 64,每卡每层持有 8 个专家。
- 通信:每个 token 每层最多发往 10 个专家,bf16 下 dispatch 一次最多 10 × 4096 × 2 字节 = 80 KB,combine 同样多。60 层,每层两次 All-to-All,这就是手册第 3.7 节讨论通信重叠和设备分组路由的原因。
- 负载均衡:512 选 10,组合极多,但也更容易出现“少数专家过热”。配置里辅助损失系数只有 0.001,说明它被刻意调小,以免拖累语言模型损失。手册第 3.3 节系统比较了辅助损失、无辅助损失偏置和全局批次均衡。
- 路由精度:实现里路由 softmax 在 fp32 下计算。手册第 3.1 节专门讨论路由器精度对稳定性的影响。
- MTP:1 层多 token 预测模块额外增加约 6.6B 参数(一层注意力加一层 MoE),训练时提供额外监督,推理时可用于投机解码。
5小结
- MoE 只替换 FFN:路由器为每个 token 挑 k 个专家,总参数决定容量,激活参数决定计算。
- 三十多年的演进围绕三件事:路由怎么选、负载怎么均衡、专家怎么切。趋势是更多、更细的专家,加上共享专家。
- Qwen3.5-397B-A17B:60 层,每层 512 个路由专家选 10 个,加 1 个带门控的共享专家;注意力为 3 层 Gated DeltaNet 加 1 层门控全注意力。总参数约 397B,激活约 17B。
- 训练这样的模型,核心挑战是专家并行带来的 All-to-All 通信、负载均衡和显存分布,这正是下一篇手册的内容。