分布式训练栈、世界动作模型与千卡作业实践。
Hugging Face《The Ultimate MoE Training Handbook》中文译本;路由、负载均衡、专家并行与交互图动画。
论文译本arXiv:1909.08053。层内模型并行,GPT-2 8.3B 与 BERT 3.9B。
论文译本arXiv:2602.15922。14B WAM 联合预测视频与动作。
训练剖析多机多卡 pipeline、数据扩窗、LoRA/ZeRO-2 跨卡梯度与权重传递。
万卡实践硬件拓扑、权重/数据加载、TP/PP 动画、梯度与 Adam、checkpoint 与 step 算账。
视频torchrun、DeepSpeed ZeRO、分片与容错。