中文译本 · 原文 Modern GPU Programming For MLSys · MLC Community
Modern GPU Programming For MLSys
机器学习系统支撑着今天大量 AI 负载。随着模型变大、部署场景变复杂,端到端性能越来越取决于少数关键 GPU kernel。Attention、LLM 的 prefill/decode、低精度 block-scaled GEMM、融合 MoE 等大核,会同时影响训练和推理速度。
把这些 kernel 写快,不是背一份优化清单就够。新一代 GPU 带来了更丰富的存储空间、新的数据搬运机制,以及更专门的执行单元。要用好它们,既要清楚硬件如何执行程序,也要知道一个朴素 kernel 如何长成高性能实现。本书同时讲这两件事。
叙述顺序是:硬件 → 编程模型 → 完整 kernel。先介绍 GPU 组织与执行,再给出全书使用的编程模型,最后一步步搭出高性能核。主目标平台是 NVIDIA Blackwell,贯穿例子是 GEMM 与 FlashAttention。一路会展开 GPU 优化的关键想法:数据 layout、异步数据搬运、异步协同。
材料源自卡内基梅隆大学 Machine Learning Systems 课程系列。例子使用 TIRx Python DSL,便于在真实 kernel 里学习、运行和验证。TIRx 把硬件级选择写得很显式,可以一边跑代码一边推理控制流、访存与同步。
本书开源。欢迎通过 GitHub 仓库贡献勘误与例子。
本书如何组织
- Part I,理解 GPU。 GPU 整体组织、写快核的一般方法,以及 layout、异步访存、协同等概念。为后面章节建立硬件直觉。
- Part II,TIRx 概览。 介绍 TIRx 的关键要素,作为全书代码示例的基础。
- Part III,GEMM:从 Tiled 到 SOTA。 把 tiled GEMM 一路优化:TMA 流水、persistent 调度、warp specialization、2-CTA cluster。
- Part IV,Flash Attention 4。 用 Part III 的手法做完整 attention:两段 MMA 中间夹 softmax、online-softmax 重缩放、causal mask、GQA。
- 附录。 TIRx 语言参考、可复现的测速与 profiling、编译器内部,以及异步 kernel 调试。
当前已译: GPU 执行模型、 什么样的 Kernel 才快、 数据 Layout 与记号、 Tensor Core 数据布局的演进。 Part I–III(理解 GPU、TIRx、GEMM)已迁入;Part IV 与附录仍在左侧目录中标记为即将译出。