MoE 架构:发展史、原理与 Qwen3.5-397B-A17B 拆解

《MoE 训练终极手册》默认读者已经熟悉混合专家模型。这篇是它的前置读物:先讲 MoE 从哪里来、为什么能用更少的计算换来更大的模型,再把路由、负载均衡、专家并行这些手册里反复出现的概念讲透,最后用 Qwen3.5-397B-A17B 的真实配置逐层算一遍。

型号说明:Qwen 官方发布的型号是 Qwen3.5-397B-A17B(总参数约 397B,每个 token 激活约 17B)。Hugging Face 上没有 297B 这个版本,本文所有数字都取自 官方 config.json 和模型卡,以及 transformers 中 qwen3_5_moe 的实现。

1为什么需要 MoE

稠密 Transformer 有一个朴素的约束:每个 token 都要经过模型的每一个参数。参数量翻倍,每个 token 的计算量(FLOPs)也跟着翻倍。而模型能力大致随参数量增长,于是“更聪明”和“更便宜”天然冲突。

混合专家(Mixture-of-Experts,MoE)打破的正是这条约束。它把 Transformer 中最占参数的前馈网络(FFN)拆成许多个小 FFN,称为专家,再加一个很小的路由器:每个 token 只被送进其中少数几个专家。于是模型有两个参数量:

  • 总参数:所有专家加起来的参数,决定模型能“记住”多少知识,也决定要占多少显存。
  • 激活参数:单个 token 实际用到的参数,决定每个 token 的计算量。
两边每个 token 的计算量相同;MoE 的总参数是稠密模型的 4 倍。
图 1 稠密与 MoE 的工作方式对比。左边每个 token 都要点亮整个 FFN;右边路由器只为它挑 2 个专家,其余 6 个专家不计算。同样的计算量下,MoE 能装下 4 倍参数(知识),而且不同 token 会用到不同的专家。

Qwen3.5-397B-A17B 名字里的 397B 和 A17B 就是这两个数:总参数约 397B,激活约 17B,只有约 4.4%。它的推理计算量接近一个 17B 稠密模型,容量却远大于后者。代价也很明确:显存要装下全部 397B,训练时专家分散在很多张卡上,token 需要跨卡来回搬运。这些代价正是《MoE 训练终极手册》要解决的问题。

2发展史:从 1991 到 2026

MoE 的思想比 Transformer 早了二十多年。它的演进大致分成四个阶段:经典混合专家、稀疏门控进入深度学习、开源大模型普及、细粒度专家与混合注意力。点击每一项展开细节。

三条贯穿始终的主线

回头看这三十多年,MoE 的改进几乎都落在三个问题上:

  1. 路由怎么选:从 softmax 加权全部专家,到噪声 Top-k,到 Top-1,再到 Top-8、Top-10;从 token 选专家,到专家选 token。
  2. 负载怎么均衡:从辅助损失(aux loss),到 z-loss 稳定路由 logits,到 DeepSeek-V3 的无辅助损失偏置,再到全局批次统计负载。
  3. 专家怎么切:从 8 个大专家,到几百个小专家加共享专家。专家越细,组合越多,但通信和负载均衡也越难。

3原理

3.1 MoE 层长什么样

一个标准 Transformer 块由注意力和 FFN 两部分组成。MoE 只改 FFN:把一个大 FFN 换成 N 个小 FFN(专家)加一个路由器。注意力、归一化、残差连接都保持不变。

图 2 稠密块与 MoE 块的区别。MoE 只替换 FFN;每个 token 经过路由器后只走 k 个专家,其余专家对这个 token 不产生计算。

每个专家通常就是一个 SwiGLU FFN,有三个矩阵:gate_proj、up_proj(隐藏维 h → 中间维 I)和 down_proj(I → h),参数量是 3·h·I。

3.2 路由器与 Top-k

路由器只是一个线性层 Wr(形状 N × h)。对每个 token 的隐藏向量 x,它给出 N 个分数,取最高的 k 个专家,把这 k 个专家的输出按权重相加:

s = softmax(Wr · x)        # N 个专家的概率
T = TopK(s, k)           # 选出 k 个专家的编号
gi = si / Σj∈T sj (i ∈ T)    # 在选中的 k 个里重新归一化
y = Σi∈T gi · Experti(x)

最后一步重归一化让 k 个权重之和为 1,Qwen3 系列和 Qwen3.5 都这样做。下面的动画里,8 个 token 依次经过路由器,你可以调整 k 和专家数,观察每个专家收到多少 token。

已路由 token0 / 8
专家-token 分配次数0
最忙专家负载 / 平均负载–
空闲专家数–
图 3 token 路由动画。底部柱子是每个专家收到的 token 数,虚线是平均值。把“路由偏好”调成“严重偏斜”,就能看到少数专家被挤爆、其余专家闲置,这正是负载不均衡。

3.3 负载均衡:MoE 训练的核心难题

路由器是和模型一起学的。训练初期某个专家碰巧学得好一点,路由器就更愿意把 token 发给它;它见到更多数据,变得更好,又吸引更多 token。这个正反馈会让少数专家垄断流量,其余专家几乎学不到东西,称为路由坍塌。在多卡训练中,负载不均还意味着一张卡忙、其他卡等,整体吞吐被最慢的那张卡拖住。

常见的三种对策:

方法做法代表
辅助损失(aux loss)在主损失外加 α·N·Σ fi·Pi。fi 是专家 i 实际收到的 token 比例,Pi 是路由器给它的平均概率。两者都均匀时这一项最小。α 太大会伤害语言模型本身的损失。GShard、Switch Transformer(α = 0.01);Qwen3.5 配置里 router_aux_loss_coef = 0.001
z-loss惩罚路由 logits 的 logsumexp 平方,防止 logits 越来越大导致数值不稳定。它不直接管均衡,但能显著减少训练发散。ST-MoE
无辅助损失偏置给每个专家一个偏置 bi,只在选 Top-k 时加到分数上,不参与加权。专家过载就把 bi 调低,空闲就调高。均衡不通过梯度实现,因此不干扰主损失。DeepSeek-V3

下面的模拟用 8 个专家演示这三种情况。“无约束”时,被选中多的专家会继续被强化;另外两种方法会把负载拉回均匀。

训练步数0
最大负载 / 平均负载(MaxVio + 1)–
几乎不收 token 的专家–
图 4 负载均衡的简化模拟(不是真实训练,只演示动力学)。柱子是每个专家收到的 token 比例,虚线是均匀值 1/8。手册第 3.3 节用的 MaxVio 指标,就是最大负载相对平均负载超出的比例。

3.4 细粒度专家与共享专家

早期 MoE(如 Mixtral 8x7B)用 8 个大专家、每个 token 选 2 个。DeepSeekMoE 提出另一种切法:把每个专家切得更细、数量更多,每个 token 选更多个。激活参数不变,但可选的组合数暴增:

配置专家数 NTop-k组合数 C(N, k)
Mixtral 8x7B8228
DeepSeek-V32568≈ 4.1 × 1014
Qwen3.5-397B-A17B51210≈ 3.1 × 1020

组合越多,每个 token 能拼出越专门的“子网络”,专家之间的分工也更清楚。

共享专家是另一个补充:不管路由结果如何,每个 token 都会经过它。它负责所有 token 都需要的通用知识,让路由专家专注于差异化的部分。Qwen3.5 有 1 个共享专家,并给它加了一个 sigmoid 门:由 token 自己决定共享专家的输出要用多少。

3.5 总参数与激活参数:动手算一算

MoE 层的参数主要来自专家。设隐藏维 h、专家中间维 I、路由专家数 N、Top-k、共享专家中间维 Is:

每层总参数 ≈ N · 3hI + 3hIs + N·h(路由器)
每层激活参数 ≈ k · 3hI + 3hIs + N·h
单层 MoE 总参数
单层 MoE 激活参数
激活比例
等效稠密 FFN 中间维(k·I + Is)
图 5 单层 MoE 参数计算器。预设值取自各模型公开配置,只算 MoE 层本身,不含注意力和词表。

3.6 专家并行与 All-to-All

单层 512 个专家放不进一张卡,训练和推理都会把专家分到多张卡上,叫专家并行(EP)。问题是 token 在数据并行下也是分散在各卡上的:卡 0 上的 token 可能要用卡 3 上的专家。于是每个 MoE 层前后各有一次 All-to-All 通信:

  1. Dispatch:每张卡按路由结果把 token 发到对应专家所在的卡。
  2. 各卡用本地专家计算收到的 token。
  3. Combine:把结果发回 token 原来所在的卡,按路由权重相加。
图 6 4 卡专家并行。每张卡持有 1/4 的专家和一批 token,颜色表示 token 来自哪张卡。路由越不均衡,某张卡收到的 token 越多,其他卡就越要等它。

这就是手册里“通信暴露”“慢卡”“单卡 OOM”这些问题的来源:All-to-All 的数据量随 k 线性增长,负载不均会让最忙的卡同时成为计算瓶颈和显存瓶颈。

4Qwen3.5-397B-A17B 拆解

Qwen3.5-397B-A17B 是阿里通义千问在 2026 年发布的旗舰开源模型,原生支持图文输入。它的语言模型部分沿用了 Qwen3-Next 的路线:512 个细粒度专家 + 1 个共享专家,加上 Gated DeltaNet 线性注意力与门控全注意力 3:1 混合。下面只讨论语言模型部分,视觉编码器约 0.4B,单独存在。

4.1 配置一览

字段(config.json)取值含义
hidden_size4096隐藏维 h
num_hidden_layers60Transformer 块数,每块都有 MoE(mlp_only_layers 为空)
num_experts512每层路由专家数 N
num_experts_per_tok10Top-k
moe_intermediate_size1024每个路由专家的中间维 I
shared_expert_intermediate_size1024共享专家中间维 Is
router_aux_loss_coef0.001负载均衡辅助损失系数
layer_types / full_attention_interval每 4 层 1 层全注意力其余 3 层为 Gated DeltaNet 线性注意力
num_attention_heads / num_key_value_heads / head_dim32 / 2 / 256全注意力层:GQA,KV 只有 2 个头
linear_num_key_heads / linear_num_value_heads16 / 64线性注意力:QK 16 个头、V 64 个头,头维均为 128
attn_output_gatetrue注意力输出乘以 sigmoid 门
partial_rotary_factor0.25只对 256 维中的 64 维做 RoPE
max_position_embeddings262,144原生上下文 256K,模型卡称可扩展到约 100 万
mtp_num_hidden_layers11 层多 token 预测(MTP)模块
vocab_size248,320词表,输入嵌入与输出头不共享

4.2 60 层的排布

模型卡把布局写成 15 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE))。每一层的 FFN 都是 MoE,变化的只是注意力类型。点击任意一层查看它的组成。

Gated DeltaNet(线性注意力)+ MoE,45 层Gated Attention(全注意力)+ MoE,15 层
点击一层查看细节。
图 7 Qwen3.5-397B-A17B 的 60 层布局,第 4、8、…、60 层是全注意力。

4.3 一个 MoE 块的前向

下面是 transformers 中 Qwen3_5MoeSparseMoeBlock 的核心逻辑(为便于阅读做了精简):

# 路由器:softmax 在 fp32 下计算
logits = x @ W_router.T                    # [T, 512]
probs  = softmax(logits.float(), dim=-1)
w, idx = topk(probs, k=10)                 # 每个 token 选 10 个专家
w      = w / w.sum(-1, keepdim=True)       # 在 10 个里重新归一化

# 路由专家:每个都是 SwiGLU,h=4096 → I=1024 → h
routed = sum(w[:, j] * Expert[idx[:, j]](x) for j in range(10))

# 共享专家:所有 token 都经过,再乘一个逐 token 的 sigmoid 门
shared = sigmoid(x @ W_sg) * SharedExpert(x)

y = routed + shared

逐步播放一个 token 的计算过程:

图 8 Qwen3.5 一个 MoE 块的前向。上方 512 个小格是路由概率,颜色越深概率越高;被选中的 10 个专家会高亮。分数为示意,不是真实权重。

4.4 397B 和 17B 是怎么来的

按配置逐项计算(bf16 下每个参数 2 字节):

组件单层参数层数总参数每 token 激活
路由专家(512 × 3 × 4096 × 1024)6.44B60386.5B7.55B(10/512)
共享专家 + 门12.6M600.76B0.76B
路由器(512 × 4096)2.1M600.13B0.13B
Gated DeltaNet 注意力118.0M455.31B5.31B
Gated Attention 注意力104.9M151.57B1.57B
输入嵌入 + 输出头(各 248,320 × 4096)––2.03B2.03B
合计(语言模型)≈ 396.3B≈ 17.35B

加上约 0.4B 的视觉编码器,就是官方的 397B;激活约 17B 与名字里的 A17B 一致(不计 MTP 模块,它只在训练和投机解码时使用)。

图 9 总参数与激活参数的构成。总参数里 97.5% 是路由专家;激活参数里注意力和嵌入占了一半以上,因为这些部分每个 token 都要完整经过。
一个直观的理解:每个 token 用到 10 个路由专家加 1 个共享专家,等效 FFN 中间维是 11 × 1024 = 11,264,约 2.75 倍隐藏维,和一个普通 4096 维稠密模型的 FFN 差不多大。Qwen3.5 是用“稠密小模型的计算量”去调用“几百 B 的知识库”。

4.5 混合注意力与显存

Qwen3.5 的另一半创新在注意力。全注意力的 KV cache 随上下文长度线性增长,到 256K 上下文时非常昂贵。Gated DeltaNet 是一种线性注意力:它不保存所有历史的 K 和 V,而是维护一个固定大小的状态矩阵,每来一个 token 就做一次带衰减的“删旧写新”更新(delta rule)。状态大小与上下文长度无关。

注意力类型层数缓存随上下文增长
Gated Attention(GQA,KV 头 2,头维 256)15每 token 每层 2 × 2 × 256 × 2 字节 = 2 KB,15 层共 30 KB/token线性增长
Gated DeltaNet(64 个 V 头,状态 128 × 128)45每条序列 45 × 64 × 128 × 128 个 fp32 数 ≈ 189 MB固定不变
图 10 单条序列的缓存显存:Qwen3.5 的混合布局对比假想的“60 层全是全注意力”。上下文越长,3:1 混合的优势越明显;短上下文时线性注意力的固定状态反而更占地方。

两个“门”也值得一提:全注意力的 q_proj 输出维度是普通的两倍,一半作为 query,另一半经过 sigmoid 后乘到注意力输出上(attn_output_gate);线性注意力也有一个输出门 z。这类门控能抑制注意力在个别 token 上的异常大值,对大规模训练的稳定性有帮助。

4.6 对训练意味着什么

把上面的数字和《MoE 训练终极手册》的主题对上:

  • 显存:bf16 权重约 793 GB。混合精度 Adam 训练每参数约 16 字节(bf16 权重和梯度,fp32 主权重和两份动量),全模型约 6.3 TB 的权重与优化器状态,远超单机 8 卡,专家并行是必选项。
  • 专家并行规模:单层路由专家 6.44B 参数,bf16 下约 12.9 GB。若 EP = 64,每卡每层持有 8 个专家。
  • 通信:每个 token 每层最多发往 10 个专家,bf16 下 dispatch 一次最多 10 × 4096 × 2 字节 = 80 KB,combine 同样多。60 层,每层两次 All-to-All,这就是手册第 3.7 节讨论通信重叠和设备分组路由的原因。
  • 负载均衡:512 选 10,组合极多,但也更容易出现“少数专家过热”。配置里辅助损失系数只有 0.001,说明它被刻意调小,以免拖累语言模型损失。手册第 3.3 节系统比较了辅助损失、无辅助损失偏置和全局批次均衡。
  • 路由精度:实现里路由 softmax 在 fp32 下计算。手册第 3.1 节专门讨论路由器精度对稳定性的影响。
  • MTP:1 层多 token 预测模块额外增加约 6.6B 参数(一层注意力加一层 MoE),训练时提供额外监督,推理时可用于投机解码。

5小结

  • MoE 只替换 FFN:路由器为每个 token 挑 k 个专家,总参数决定容量,激活参数决定计算。
  • 三十多年的演进围绕三件事:路由怎么选、负载怎么均衡、专家怎么切。趋势是更多、更细的专家,加上共享专家。
  • Qwen3.5-397B-A17B:60 层,每层 512 个路由专家选 10 个,加 1 个带门控的共享专家;注意力为 3 层 Gated DeltaNet 加 1 层门控全注意力。总参数约 397B,激活约 17B。
  • 训练这样的模型,核心挑战是专家并行带来的 All-to-All 通信、负载均衡和显存分布,这正是下一篇手册的内容。
下一篇MoE 训练终极手册 →