首页 / AI System Performance / MLSys GPU 教程

中文译本 · 原文 Modern GPU Programming For MLSys · MLC Community

Modern GPU Programming For MLSys

机器学习系统支撑着今天大量 AI 负载。随着模型变大、部署场景变复杂,端到端性能越来越取决于少数关键 GPU kernel。Attention、LLM 的 prefill/decode、低精度 block-scaled GEMM、融合 MoE 等大核,会同时影响训练和推理速度。

把这些 kernel 写快,不是背一份优化清单就够。新一代 GPU 带来了更丰富的存储空间、新的数据搬运机制,以及更专门的执行单元。要用好它们,既要清楚硬件如何执行程序,也要知道一个朴素 kernel 如何长成高性能实现。本书同时讲这两件事。

叙述顺序是:硬件 → 编程模型 → 完整 kernel。先介绍 GPU 组织与执行,再给出全书使用的编程模型,最后一步步搭出高性能核。主目标平台是 NVIDIA Blackwell,贯穿例子是 GEMM 与 FlashAttention。一路会展开 GPU 优化的关键想法:数据 layout、异步数据搬运、异步协同。

材料源自卡内基梅隆大学 Machine Learning Systems 课程系列。例子使用 TIRx Python DSL,便于在真实 kernel 里学习、运行和验证。TIRx 把硬件级选择写得很显式,可以一边跑代码一边推理控制流、访存与同步。

本书开源。欢迎通过 GitHub 仓库贡献勘误与例子。

本书如何组织

当前已译: GPU 执行模型、 什么样的 Kernel 才快、 数据 Layout 与记号、 Tensor Core 数据布局的演进。 Part I–III(理解 GPU、TIRx、GEMM)已迁入;Part IV 与附录仍在左侧目录中标记为即将译出。