Agent 主导的算子优化闭环:整体架构
让 Agent 在「模型提出改动 → 硬件评测与 profiling → 症状反馈 → 知识检索与沉淀」的循环里持续优化 GPU 算子。 目标硬件 Jetson Thor,实现语言不限于一种,Agent 框架可替换。设计方案 · 2026-10-17
1. 结论
整个设计围绕六条原则展开:
- 评测器归系统,不归 Agent。Agent 只能修改实现源码,不能碰算子契约、测试数据、参考实现和计时逻辑。
- 接受与否只认守护进程写入的结果。用外部框架时你控制不了 Agent 的行为,这一条是底线。
- 每个候选只改一个手段(lever)。归因才清楚,知识才能沉淀。
- 失败也要记录。实验日志既用于去重,也是以后做 SFT / RL 的训练数据。
- 便宜的事不交给大模型。tile、stage 数这类数值参数用搜索器;大模型只做融合、换 layout、加流水线这类结构性改动。
- 知识晋升必须经人工审批。共享知识沿用推理优化知识库的 inbox 治理流程。
2. 为什么评测器是核心
现在不少「Agent 写 kernel」的宣传,加速比是和 PyTorch eager 比出来的。eager 下一个 RMSNorm 会拆成好几个 kernel,任何融合实现都能拿到数倍加速, 这个数字说明不了 Agent 有多强。更大的问题是 reward hacking:Agent 会利用测试脚本的漏洞,比如复用上一次的输出、只对固定输入做对、根本没执行计算, 来刷出漂亮的加速比。
所以这套系统里最值得投入的不是 Agent 本身,而是一个 Agent 改不了、骗不过的评测器。性能目标也尽量向硬件上限看齐,而不是只打赢某个软件基线, 这和 SOL-ExecBench 的思路一致。
3. 整体架构
flowchart LR A["外部 Agent 框架
Cursor · Claude Code
Hermes · Grok bot"] C["核心库(开发机)
Campaign · Static Judge · Gate
实验日志 · 反馈 · 知识适配"] E["Thor 评测守护进程
环境守卫 · 隔离运行 · Profiler"] O["算子契约 OpSpec
+ 后端插件"] K["知识层
L1 日志 · L2 调优库 · L3 AiInfraKB"] H["人工审批"] A -->|"skills / MCP / CLI
提交候选"| C C -->|"症状 + 差分"| A C -->|"候选包"| E E -->|"EvalResult"| C E --- O C <-->|"查询 / 回写"| K K -->|"候选条目"| H H -->|"晋升"| K
图里只有两处 Agent 不能碰:Thor 评测守护进程和算子契约。Agent 框架能做的只是通过 skills、MCP 或 CLI 提交候选、读取反馈、查询知识。
| 模块 | 运行位置 | 职责 |
|---|---|---|
| skills | Agent 框架内 | 用中性 Markdown 描述工作流,再同步到各框架的格式 |
| MCP / CLI | 开发机 | 唯一的对外接口;MCP 只负责转发 CLI 参数 |
| Campaign Manager | 开发机 | 管理优化任务;候选就是 campaign 分支上的 commit,回退就是切回父提交 |
| Static Judge | 开发机 | 确定性检查:只允许修改白名单文件,禁止读取测试数据、硬编码 shape |
| Acceptance Gate | 开发机 | 根据评测结果判定接受或回退 |
| 实验日志 | 开发机 | 记录每次尝试的 diff、手段、假设、结果、症状,包括失败的尝试 |
| Feedback Builder | 开发机 | 把 ncu 指标和 SASS 统计映射成症状标签,并和父候选做差分 |
| Knowledge Adapters | 开发机 | 统一查询三层知识,回写使用效果,生成待晋升的候选条目 |
| OpSpec | 两端 | 定义算子契约;隐藏 shape 只放在 Thor 端 |
| 后端插件 | Thor | 把实现源码编译成 cubin,并负责启动 kernel |
| evald | Thor | 接收候选包,固定运行环境,在隔离进程里构建、验证、计时、profiling |
一次提交的完整链路如下。注意评测结果由 evald 直接写入实验日志,Gate 从日志读取,中间不经过 Agent。
sequenceDiagram
participant A as Agent 框架
participant C as CLI / 核心库
participant J as Static Judge
participant E as evald(Thor)
participant L as 实验日志
participant G as Gate
A->>C: submit(commit + lever + 假设)
C->>J: 检查 diff
J-->>C: 通过 / 拒绝
C->>E: 候选包
E->>E: 锁频 → 构建 → 正确性(公开 + 隐藏 shape)→ 计时 → ncu / SASS
E->>L: 写入 EvalResult
C->>G: decide(result, best)
G->>L: 读取结果
G-->>C: 接受 / 回退
C-->>A: 结论 + 症状 + 差分
4. 单轮循环
stateDiagram-v2
[*] --> Profile: 基线 profile
Profile --> Diagnose: 症状标签
Diagnose --> Retrieve: 按症状检索知识
Retrieve --> Hypothesize: 选一个手段
Hypothesize --> Edit: 结构改动(Agent)
Hypothesize --> Tune: 数值参数(搜索器)
Edit --> StaticJudge
StaticJudge --> Submit: 通过
StaticJudge --> Log: 拒绝
Tune --> Submit
Submit --> Build
Build --> Correctness
Build --> Log: 编译失败
Correctness --> Bench
Correctness --> Log: 结果错误
Bench --> EnvCheck
EnvCheck --> Bench: 降频或温漂,重测
EnvCheck --> Gate
Gate --> Accept: 超过噪声阈值且所有 shape 不退化
Gate --> Revert: 否则
Accept --> Log
Revert --> Log
Log --> Profile: 预算未耗尽
Log --> Distill: 收敛或到达里程碑
Distill --> [*]
诊断、检索、提假设、改代码这几步由 Agent 框架执行,其余步骤都由系统执行。Agent 能影响的只有「提交什么候选」,影响不了「候选怎么被评」。
5. 核心类型
按职责分成三组:后端插件、评测与判定(含算子契约)、知识。
5.1 后端插件
classDiagram
class KernelBackend {
<<interface>>
+build(source_dir, target) Artifact
+launch(artifact, inputs, outputs)
}
class Artifact {
+cubin_paths
+launch_meta
}
class TritonBackend
class CudaBackend
class CuteDslBackend
class TirxBackend
KernelBackend --> Artifact
KernelBackend <|.. TritonBackend
KernelBackend <|.. CudaBackend
KernelBackend <|.. CuteDslBackend
KernelBackend <|.. TirxBackend
5.2 评测与判定
classDiagram
class Campaign {
+op
+backend
+hardware
+best_commit
+budget
}
class Candidate {
+commit
+parent_commit
+lever
+hypothesis
}
class StaticJudge {
+check(candidate, campaign) Verdict
}
class EvalClient {
+submit(candidate) job_id
+result(job_id) EvalResult
}
class EvalResult {
+env: EnvSnapshot
+compile_ok
+correctness
+perf: PerfStats
+profile: ProfileReport
}
class AcceptanceGate {
+decide(result, best) Decision
}
class FeedbackBuilder {
+build(result, parent) Feedback
}
class Feedback {
+symptoms
+delta_summary
}
class OpSpec {
<<interface>>
+public_shapes()
+hidden_shapes()
+make_inputs(shape, seed)
+reference(inputs)
+tolerance(dtype)
+baselines()
}
Campaign --> OpSpec
Campaign --> "many" Candidate
StaticJudge --> Candidate
EvalClient --> EvalResult
AcceptanceGate --> EvalResult
FeedbackBuilder --> EvalResult
FeedbackBuilder --> Feedback
EnvSnapshot 记录功耗模式、频率、前后温度、是否降频;PerfStats 记录中位数、噪声、相对基线的比值和逐 shape 结果;
ProfileReport 记录 ncu 指标、SASS 统计、寄存器和 shared memory 用量。
5.3 知识
classDiagram
class KnowledgeSource {
<<interface>>
+query(symptoms, backend, hardware) list
+feedback(entry_id, outcome)
}
class ExperimentLog
class TuningDB
class AiInfraKB
KnowledgeSource <|.. ExperimentLog
KnowledgeSource <|.. TuningDB
KnowledgeSource <|.. AiInfraKB
6. 关键设计
6.1 算子契约与后端分离
参考了 TIRx-kernels 的 kernel 协议,但不直接依赖它。那个协议把「测什么」(配置矩阵、正确性检查、基线)和「怎么实现」放在同一个模块里,这里拆成两部分:
OpSpec归系统所有:输入生成、用 fp32 / fp64 计算的参考实现、按 dtype 设定的容差、公开 shape、隐藏 shape、基线实现。KernelBackend是插件:Triton、CUDA C++、CuTe DSL、TIRx 各一个,负责把实现源码编译成 cubin 并启动。
6.2 防作弊
| 风险 | 对策 |
|---|---|
| 复用上一次的输出 | 每次运行前用 NaN 填满输出缓冲区 |
| 针对固定输入过拟合 | 每次评测用新的随机种子;隐藏 shape 只存在 Thor 端 |
| 硬编码 shape、读取测试数据 | Static Judge 做文件白名单检查和 diff 规则扫描 |
| kernel 实际没有执行 | 用 ncu 核对 kernel launch 数量 |
| 加速比不合理 | 超过 Thor 实测 roofline 的结果直接标为可疑,转人工复核 |
| Agent 谎报结果 | Gate 只读取 evald 写入实验日志的结果 |
另外可以让另一个框架或模型对 diff 给出「第二意见」,但只作参考,不作为门禁。门禁必须是确定性的。
6.3 Thor 上的测量纪律
- 固定环境:评测前固定
nvpmodel功耗模式并执行jetson_clocks,每个结果都附带环境快照(功耗模式、频率、前后温度、是否降频)。 - 环境异常就作废:评测前后温度漂移超过阈值,或者检测到降频,结果作废并重测。
- 计时方法:每次计时前 flush L2,取多次运行的中位数;基线在同一会话里重新测量,不用历史数字。
- 接受条件:加速超过噪声阈值,并且所有 shape 都不退化。
- 统一内存:Thor 的 CPU 和 GPU 共享 LPDDR5X 带宽。评测期间保证 CPU 侧没有其他负载;roofline 用部署时自己校准的实测上限,不用规格表上的数字。
- SM 数量少:在数据中心 GPU 上能填满一个 wave 的 grid,在 Thor 上表现完全不同。从数据中心 kernel 借鉴代码时,不要沿用按 B200 的 148 个 SM 写死的默认值。
6.4 硬件反馈:从指标到症状
ncu 一次能吐出几百个指标,直接塞给 Agent 只会稀释信号。Feedback Builder 只给少量高信号信息:排在前几位的症状标签
(如 long_scoreboard、register_spill、bank_conflict、uncoalesced_gmem)、和父候选相比的指标变化、寄存器和 shared memory 用量。
症状标签同时也是知识库的检索键。反馈和知识用同一套词表,Agent 拿到症状就能直接查到对应的改法,中间不需要做语义转换。
6.5 知识分三层
flowchart LR
S["症状标签"] --> Q{"检索"}
Q -->|"去重"| L1["L1 实验日志"]
Q -->|"改法"| L2["L2 调优库"]
Q -->|"硬件特性"| L3["L3 AiInfraKB"]
L1 -->|"Distiller 提炼"| CAND["候选条目"]
CAND --> H["人工审批"]
H -->|"晋升"| L2
H -->|"晋升"| L3
R["候选被接受 / 无效"] -.->|"回写效果"| L2
R -.->|"回写效果"| L3
| 层 | 内容 | 写入方 | 晋升门槛 |
|---|---|---|---|
| L1 实验日志 | 每次尝试的 diff、手段、假设、结果、症状 | 系统自动写入 | 不需要 |
| L2 调优库 | 可复用的 kernel 代码改法,按症状和后端索引 | Distiller 草拟,人工审批 | 正确性通过,且实测有收益 |
| L3 AiInfraKB | 跨项目的事实与基准,按硬件、模型索引 | 写入知识库的 inbox | 治理 bot 审核后人工批准 |
检索顺序是先查 L1 去重(「这个手段在这个 kernel 上已经试过并失败了」),再查 L2 找改法,最后查 L3 了解硬件特性。 知识用完之后要回写效果:检索到的条目最终带来被接受的改动,记一次成功;用了没效果也要记,用来发现过期条目。
L2 的条目格式是「一个条目一个文件,症状是唯一索引」,额外加一行 Backends。SASS 层面的经验(谓词、寄存器生命周期、访存宽度)通常跨后端通用,标为 any;
只有具体写法和语言绑定。L3 的卡片格式和治理流程见推理优化知识库设计。
6.6 适配多种 Agent 框架
- skills 只维护一份:用中性 Markdown 编写,由规范同步工具分发到各框架,参见 多仓库 Agent 开发规范。
- MCP 与 CLI 共用核心逻辑:不支持 MCP 的框架(比如某些 bot)直接调用 CLI。
- 框架只是「手」:换框架不影响评测、门禁和知识,跨框架的效果对比也因此有了统一的标尺。
7. 仓库结构
kernel-agent-loop/
docs/architecture.md
skills/ # optimize-loop / diagnose / distill-knowledge
ops/<op>/spec.py # OpSpec:参考实现、shape、容差、基线
ops/<op>/impls/<backend>/ # Agent 唯一可写的区域
knowledge/db/ # L2 调优库条目
src/kernel_agent_loop/
core/ # campaign、gate、static judge、实验日志
backends/ # triton / cuda / cute / tirx
evald/ # Thor 端守护进程、环境守卫、隔离运行
feedback/ # ncu + SASS → 症状
knowledge/ # L2 与 AiInfraKB 适配
cli.py
mcp.py
tests/
8. 实施分期
| 阶段 | 内容 | 验收 |
|---|---|---|
| P0 | 在 Thor 上验证各后端工具链,校准带宽和算力上限 | 各后端的 vector add 都能编译运行,校准数字落盘 |
| P1 | OpSpec、CUDA 后端、本地 evald、实验日志、Gate;以 RMSNorm 跑通「提交 → 评测 → 接受或回退」 | 故意写错和故意变慢的候选必须被拒绝 |
| P2 | 防作弊:隐藏 shape、输出投毒、Static Judge | 一组作弊候选测试必须全部被拦下 |
| P3 | 接入 ncu 和 SASS,实现 Feedback Builder 和 L2 检索 | 已知症状的 kernel 输出预期标签 |
| P4 | skills + MCP,至少两个框架跑通完整 campaign | 同一个 campaign 分别用 Cursor 和 Claude Code 跑完 |
| P5 | Triton 后端、Distiller、AiInfraKB 回写 | 晋升条目通过 AiInfraKB 的 lint |
每个阶段都先给架构图、类图和测试,review 通过后再写实现。
系统自身也要有度量:每 GPU 小时换来的被接受加速、被隐藏 shape 抓住的错误接受比例、知识命中率,以及同一 kernel 换到新硬件后达到目标所需的轮数。
9. 待验证风险
- Triton、CuTe DSL 对 Thor 架构的支持程度还没确认,放在 P0 验证;不支持的后端先不接入。
- Jetson 上运行 ncu 需要 root 或额外的 profiling 权限,evald 的部署方式要提前确定。
- 开发机和 Thor 之间的候选包传输方式(SSH 或 HTTP)待定。