训练框架

分布式训练栈、世界动作模型与千卡作业实践。

MoE 训练手册

MoE 训练手册

Hugging Face《The Ultimate MoE Training Handbook》中文译本;路由、负载均衡、专家并行与交互图动画。

论文译本

Megatron-LM:使用模型并行训练数十亿参数语言模型

arXiv:1909.08053。层内模型并行,GPT-2 8.3B 与 BERT 3.9B。

论文译本

DreamZero:世界动作模型即零样本策略

arXiv:2602.15922。14B WAM 联合预测视频与动作。

训练剖析

DreamZero WAM 训练流程

多机多卡 pipeline、数据扩窗、LoRA/ZeRO-2 跨卡梯度与权重传递。

万卡实践

万卡集群训练大模型:全链路数据流与协同优化

硬件拓扑、权重/数据加载、TP/PP 动画、梯度与 Adam、checkpoint 与 step 算账。

视频

千卡训练是怎么跑起来的

torchrun、DeepSpeed ZeRO、分片与容错。