首页 / AI Native / Agent Kernel / SOL-ExecBench

SOL-ExecBench:面向硬件 Speed-of-Light 的真实 GPU Kernel 基准

Edward Lin · Sahil Modi · Siva Kumar Sastry Hari · Qijing Huang · Zhifan Ye · Nestor Qin · Fengzhe Zhou · Yuan Zhang · Jingquan Wang · Sana Damani · Dheeraj Peri · Ouye Xie · Aditya Kane · Moshe Maor · Michael Behar · Triston Cao · Rishabh Mehta · Vartika Singh · Vikram Sharma Mailthody · Terry Chen · Zihao Ye · Hanfeng Chen · Tianqi Chen · Vinod Grover · Wei Chen · Wei Liu · Eric Chung · Luis Ceze · Roger Bringmann · Cyril Zeller · Michael Lightstone · Christos Kozyrakis · Humphrey Shi
NVIDIA · arXiv:2603.19173

中文译本 · 原文 arXiv 2603.19173 · PDF 下载 · 代码 / 榜单 SOL-ExecBench · Leaderboard

摘要

随着 agentic AI 越来越擅长生成与优化 GPU kernel,现有基准却往往奖励「相对软件基线的加速」, 而非「逼近硬件高效执行」。我们提出 SOL-ExecBench:从 124 个生产 / 新兴 AI 模型 (语言、扩散、视觉、音频、视频与混合架构)抽取 235 个 CUDA kernel 优化题, 面向 NVIDIA Blackwell GPU,覆盖 BF16 / FP8 / NVFP4 的前向与反向工作负载, 其中包括预期依赖 Blackwell 特性才能冲到最优的算子。

与主要相对软件实现打分的基准不同,SOL-ExecBench 以 SOLAR 解析得到的 Speed-of-Light(SOL)硬件下界为固定目标, 并用 SOL Score 衡量候选 kernel 在「评分基线 → 硬件 SOL」间隙中关掉了多少。 为稳健评测 agent 优化器,我们还提供带 GPU 锁频、L2 清空、子进程隔离与静态分析的沙箱, 抵御常见 reward hacking。整体上,它把 GPU kernel 基准从「打赢可变软件基线」重构成 「逼近硬件 Speed-of-Light」。

1 引言

Agent 系统已能编译、profile 并迭代优化 GPU kernel,但评价方式仍常卡在「相对 PyTorch eager 加速多少」。 工程真实目标却是逼近硬件效率极限。GPU 代际特性更新快、数据中心功耗约束变硬,人工逐 kernel 优化难以跟上 模型复杂度增长——AI 驱动的 kernel 优化正在从可选变为必需。

架构空间也在扩张:稠密 Transformer 之外还有 MoE(DeepSeek-V3、Qwen3-Coder-480B)、 SSM(Mamba-2、Jamba)、线性注意力(RWKV、Gated Delta Rule)、混合架构(Nemotron-H)以及多模态系统。 新原语(MLA、SwiGLU MoE dispatch、视频 3D RoPE、chunk selective scan 等)都需要专用 kernel (如 FlashAttention)才能吃满硬件。一个前沿模型可能含数十个此类原语;kernel 与硬件也互相塑造—— 工作负载反过来牵引未来硬件特性。

因此,面向 agent 的 kernel 基准需要同时满足:

  1. 覆盖当前前沿与新兴架构;
  2. 包含必须利用新硬件特性 / 精度格式才能冲顶的题目;
  3. 覆盖后训练与推理(含反向);
  4. 以硬件可达上界而非可变软件基线为评价目标;
  5. 评测基础设施能抵御对抗式「刷分」。

KernelBench、FlashInfer-Bench、BackendBench、TritonBench 等各有进展,但尚无单一基准同时覆盖上述全部。 例如 KernelBench 问题多来自较旧模型、指标相对 PyTorch;FlashInfer-Bench 贴近 Blackwell 推理但缺少后训练 / NVFP4。

SOL-ExecBench 用 LLM 辅助流水线从 124 个模型抽取约 7400 个子图,精选为 235 题(四档复杂度 / 精度)。 每题含规格、PyTorch 参考实现与最多约 16 个动态 shape workload。核心变化是:用 SOLAR 从 FLOP、字节量与峰值吞吐 解析 SOL 下界,并结合预定义评分基线得到 SOL Score——0.5 表示打平基线,1.0 表示触及硬件 SOL。 作者还构建 agent 优化器改进参考实现以形成更强基线;过程中暴露的刷分行为反过来强化了沙箱防御。 全量 235 题上,agent 基线中位 SOL 分数为 0.732,且 14.5% 提交被标为 reward hacking。

表 1 对比了近期 GPU kernel 生成基准。

基准题数来源指标精度目标硬件训练
KernelBench270策展+模型fastpFP32/FP16/BF16Any×
FlashInfer-Bench26推理 tracefastpFP16/BF16/FP8BW+×
BackendBench271PyTorch OpInfoSpeedupFP32/FP16/BF16Any部分
TritonBench184GitHub正确性+FP32/FP16/BF16Any×
ComputeEval232合成pass@1FP32/FP16Any×
CUDABench500开源RooflineFP32/FP16/BF16Any×
SOL-ExecBench235模型子图SOL scoreBF16/FP8/NVFP4BW+✓

目标硬件:Any=硬件无关;BW+=面向 Blackwell 及更新架构特性。Train:是否含反向。

2.1 相关基准(摘要)

2.2 Speed-of-Light 指标

Roofline 给出算力 / 带宽上界;Orojenesis 进一步按片上缓冲容量收紧可达成数据搬运界。 NVIDIA 内部常以「占硬件 SOL 的百分比」而非相对软件基线衡量。SOLAR(SOL Analysis for Runtime) 在此基础上从 PyTorch 参考实现自动推导紧的硬件 SOL 下界(见 §4.2)。

3 基准构建

三条原则:

图1 构建流水线
图 1:SOL-ExecBench 构建流水线概览。输入为六大领域 124 个源模型;输出为四类共 235 道验证题目。

3.1 源模型覆盖

3.2 抽取流水线

  1. 模型准备:加载架构与源码、配置常量。
  2. 子图抽取:前沿 LLM 识别重要计算子图,生成内联常量的独立 PyTorch;前向串行以去重,反向并行;量化模型用专用 prompt。共约 7400 子图。
  3. 策展采样:11 维刻画后分层采样,平衡单核 / 融合核与量化槽位;LLM driver 转成题。
  4. 验证:专家+LLM 审题;执行正确性与容差标定;再用 agent 优化器扫洞(规格博弈)。最终验证 245 题,公开发布 235,预留 10 供竞赛。

3.3 题目规格

扩展 FlashInfer Trace schema,每题三件套:

4 数据与评测

类别说明#精度示例
L1真实模型抽取的单算子94BF16/FP32GQA、RMSNorm、SwiGLU、RoPE
L2多算子融合块(复杂度约 3–10× L1)82BF16/FP32Decoder、MoE dispatch、SSM scan
Quant显式低精度(18 FP8 / 15 NVFP4)33FP8/NVFP4FP8 MLA、NVFP4 MoE
FIBFlashInfer 生产推理原语26BF16/FP8融合注意力、FP8 MoE
合计235

4.1 题目刻画

图2 题目分布
图 2:235 题四维刻画。(a) 类别与前/反向;(b) 主操作类型;(c) 模型领域叠类别;(d) 主计算精度。

Attention 最多(81,35%),MoE 36(15%),归一化 27(12%)……领域上 LLM 153(65%)。 精度以 BF16(46%)为主;FP8/NVFP4 全在 Quant。78 题(33%)用自定义输入生成(paged KV、MoE routing 等)。

4.2 SOL 下界推导(SOLAR)

图3 SOLAR 流水线
图 3:SOLAR 从 PyTorch 模型与输入 shape 推导 Speed-of-Light 下界 \(T_{\mathrm{SOL}}\)。

三阶段:

  1. Graph Extractor(基于 torchview):前向 hook 抓取 eager 路径上的算子图与张量元数据;
  2. Agentic Einsum Converter:映射到扩展 einsum;查表命中则直接转换,未见过的算子由 LLM 生成转换函数并仿真校验后入库;
  3. SOL Analyzer:用 roofline(并可叠加 Orojenesis)估计:
\[ T_{\mathrm{SOL}} = \max\left(\frac{\text{Total FLOPs}}{\text{Compute Throughput}},\; \frac{\text{Total Fused Bytes}}{\text{Memory Bandwidth}}\right) \quad (1) \]
算子图 Einsum 图

图 4(节选):左为 traced 算子图,右为扩展 einsum 图;完整示例对应 Jamba 融合 attention 投影+残差,SOL≈0.06 ms(B200)。

局限:仅基于 shape 而非数值,无法刻画压缩 / 常量传播等值相关优化;实际硬件还可能因功耗墙 / 热节流达不到理论界。

4.3 指标:SOL Score

图5 SOL Score 曲线
图 5:SOL Score 随 \(T_k\) 变化(示意 \(T_{\mathrm{SOL}}=50,\,T_b=100\))。\(T_k=T_{\mathrm{SOL}}\Rightarrow S=1\),\(T_k=T_b\Rightarrow S=0.5\),\(T_k\to\infty\Rightarrow S\to 0\)。
\[ S(T_k)=\frac{1}{1+\dfrac{T_k-T_{\mathrm{SOL}}}{T_b-T_{\mathrm{SOL}}}} =\frac{T_b-T_{\mathrm{SOL}}}{(T_k-T_{\mathrm{SOL}})+(T_b-T_{\mathrm{SOL}})} \quad (2)(3) \]

基线取中点而非零,是为在同一有界尺度上区分:低于基线(\(S<0.5\))、超基线但未到 SOL(\(0.5<S<1\))、SOL 水平(\(S=1\))。 不正确则正确性指示 \(C=0\),不计性能分。套件总分取算术平均:

\[\bar{S}=\frac{1}{N}\sum_{j=1}^{N} C_j S_j \quad (4)\]

4.4 评测框架与反刷分

提交为 JSON(源码、语言、构建、入口)。支持 Python / Triton / CUDA C++(含 PTX、CUTLASS、CuTe DSL、cuBLAS、cuDNN、cuTile)。 正确性:相对钉死的参考输出,多 seed;容差 (atol, rtol, matched ratio) 存在 workload 中。 计时:CUDA Event,10 warmup + 50 iter × 3 trial;每次清空 256MB L2、clone 输入;B200 锁 1500 MHz;子进程隔离;超时 300s。

观察到的刷分三类与防御见表 3:

类别手段防御
并发线程 / 非默认 stream / jit.fork / CUDAGraph 隐式流线程监控、禁多 stream、LLM 静态审查
状态缓存按 data_ptr 复用输出、FakeTensor 懒计算、只过一次正确性输入 clone、移位分配器、严格类型、多轮随机正确性
环境monkey-patch Event.elapsed_time、精度降级、内嵌 cubin关键函数地址校验、收紧容差、LLM-judge

当前评测保守地禁用 CUDA streams、依赖 PyTorch 默认分配器——有利于防隐藏算力,但可能不利于复现 torch.compile 多流基线;未来或改进 stream 检查与分配器控制。

4.5 评分基线

评分基线 \(T_b\)(未公开)≠ 参考实现;由多轮多 agent、仅限 PyTorch 的优化系统生成, 经正确性 + 反刷分后取每题最快者。基线可随 SOTA 更新,保持挑战性。

5 实验

5.1 设置

DGX B200(8×B200,192GB HBM3e,8 TB/s);CUDA 13.1.1 / cuDNN 9.17.1 / PyTorch 2.9.0 / 驱动 580.95; 单卡、SM 锁 1500 MHz。

5.2 SOL Score vs Speedup

图6 Speedup vs SOL 距离
图 6:相对 PyTorch 参考的加速(x)vs 距硬件 SOL 的倍数(y)。二者几乎无关(log-log \(r=0.10\)):可 10× 快于 PyTorch 却仍 >10× 远离 SOL。
图7 SOL Score 地貌
图 7:同坐标按 SOL Score 着色,并叠加 \(S=0.5/0.7/0.9\) 等值线——同一加速对应的 \(S\) 可因 SOL 距离差很多。
图8 与 headroom 相关性
图 8:SOL Score 与「关掉的优化 headroom 比例」近乎完美相关(Pearson \(r=0.981\));纯 speedup 与 headroom 仅 \(r=0.81\)。

5.3 缓解 Reward Hacking

图9 刷分分布
图 9:按利用类型与题目类别的刷分检测分布。精度降级最常见(6.4%),其次 monkey-patch(3.3%)、stream 注入(2.5%)等;合计 14.5% 提交被拒。

5.4 评分基线结果

各类 SOL 分数分布 参考 vs agent 距 SOL

图 10:(a) 各类 SOL 分数分布:中位 L1 0.688 / L2 0.761 / Quant 0.757 / FIB 0.789,总体 0.732; (b) agent 解相对参考几乎全面更接近 SOL(中位距离缩短约 2.0–3.4×)。

6 结论

SOL-ExecBench 把 GPU kernel 优化基准锚定在硬件 Speed-of-Light:235 道来自 124 个前沿模型的题目、 SOLAR 解析上界、SOL Score 度量「关掉了多少基线→SOL 间隙」,以及针对 agent 刷分的评测沙箱。 Agent 基线中位分 0.732,说明仍有明显优化空间。作者期望基准随新工作负载、更强基线与社区提交持续演进。

参考文献(节选)