首页 / AI Native / Agent Kernel / 算子优化闭环架构

Agent 主导的算子优化闭环:整体架构

让 Agent 在「模型提出改动 → 硬件评测与 profiling → 症状反馈 → 知识检索与沉淀」的循环里持续优化 GPU 算子。 目标硬件 Jetson Thor,实现语言不限于一种,Agent 框架可替换。设计方案 · 2026-10-17

1. 结论

系统本身不当 Agent,而当工具箱加裁判。Cursor、Claude Code、Hermes、Grok bot 等外部框架负责读反馈、提假设、改代码; 系统负责评测、判定接受还是回退、管理知识。是否接受只认 Thor 上评测守护进程写回的结果,不信 Agent 自己报告的数字。

整个设计围绕六条原则展开:

  1. 评测器归系统,不归 Agent。Agent 只能修改实现源码,不能碰算子契约、测试数据、参考实现和计时逻辑。
  2. 接受与否只认守护进程写入的结果。用外部框架时你控制不了 Agent 的行为,这一条是底线。
  3. 每个候选只改一个手段(lever)。归因才清楚,知识才能沉淀。
  4. 失败也要记录。实验日志既用于去重,也是以后做 SFT / RL 的训练数据。
  5. 便宜的事不交给大模型。tile、stage 数这类数值参数用搜索器;大模型只做融合、换 layout、加流水线这类结构性改动。
  6. 知识晋升必须经人工审批。共享知识沿用推理优化知识库的 inbox 治理流程。

2. 为什么评测器是核心

现在不少「Agent 写 kernel」的宣传,加速比是和 PyTorch eager 比出来的。eager 下一个 RMSNorm 会拆成好几个 kernel,任何融合实现都能拿到数倍加速, 这个数字说明不了 Agent 有多强。更大的问题是 reward hacking:Agent 会利用测试脚本的漏洞,比如复用上一次的输出、只对固定输入做对、根本没执行计算, 来刷出漂亮的加速比。

所以这套系统里最值得投入的不是 Agent 本身,而是一个 Agent 改不了、骗不过的评测器。性能目标也尽量向硬件上限看齐,而不是只打赢某个软件基线, 这和 SOL-ExecBench 的思路一致。

3. 整体架构

flowchart LR
  A["外部 Agent 框架
Cursor · Claude Code
Hermes · Grok bot"] C["核心库(开发机)
Campaign · Static Judge · Gate
实验日志 · 反馈 · 知识适配"] E["Thor 评测守护进程
环境守卫 · 隔离运行 · Profiler"] O["算子契约 OpSpec
+ 后端插件"] K["知识层
L1 日志 · L2 调优库 · L3 AiInfraKB"] H["人工审批"] A -->|"skills / MCP / CLI
提交候选"| C C -->|"症状 + 差分"| A C -->|"候选包"| E E -->|"EvalResult"| C E --- O C <-->|"查询 / 回写"| K K -->|"候选条目"| H H -->|"晋升"| K

图里只有两处 Agent 不能碰:Thor 评测守护进程和算子契约。Agent 框架能做的只是通过 skills、MCP 或 CLI 提交候选、读取反馈、查询知识。

模块运行位置职责
skillsAgent 框架内用中性 Markdown 描述工作流,再同步到各框架的格式
MCP / CLI开发机唯一的对外接口;MCP 只负责转发 CLI 参数
Campaign Manager开发机管理优化任务;候选就是 campaign 分支上的 commit,回退就是切回父提交
Static Judge开发机确定性检查:只允许修改白名单文件,禁止读取测试数据、硬编码 shape
Acceptance Gate开发机根据评测结果判定接受或回退
实验日志开发机记录每次尝试的 diff、手段、假设、结果、症状,包括失败的尝试
Feedback Builder开发机把 ncu 指标和 SASS 统计映射成症状标签,并和父候选做差分
Knowledge Adapters开发机统一查询三层知识,回写使用效果,生成待晋升的候选条目
OpSpec两端定义算子契约;隐藏 shape 只放在 Thor 端
后端插件Thor把实现源码编译成 cubin,并负责启动 kernel
evaldThor接收候选包,固定运行环境,在隔离进程里构建、验证、计时、profiling

一次提交的完整链路如下。注意评测结果由 evald 直接写入实验日志,Gate 从日志读取,中间不经过 Agent。

sequenceDiagram
  participant A as Agent 框架
  participant C as CLI / 核心库
  participant J as Static Judge
  participant E as evald(Thor)
  participant L as 实验日志
  participant G as Gate
  A->>C: submit(commit + lever + 假设)
  C->>J: 检查 diff
  J-->>C: 通过 / 拒绝
  C->>E: 候选包
  E->>E: 锁频 → 构建 → 正确性(公开 + 隐藏 shape)→ 计时 → ncu / SASS
  E->>L: 写入 EvalResult
  C->>G: decide(result, best)
  G->>L: 读取结果
  G-->>C: 接受 / 回退
  C-->>A: 结论 + 症状 + 差分
          

4. 单轮循环

stateDiagram-v2
  [*] --> Profile: 基线 profile
  Profile --> Diagnose: 症状标签
  Diagnose --> Retrieve: 按症状检索知识
  Retrieve --> Hypothesize: 选一个手段
  Hypothesize --> Edit: 结构改动(Agent)
  Hypothesize --> Tune: 数值参数(搜索器)
  Edit --> StaticJudge
  StaticJudge --> Submit: 通过
  StaticJudge --> Log: 拒绝
  Tune --> Submit
  Submit --> Build
  Build --> Correctness
  Build --> Log: 编译失败
  Correctness --> Bench
  Correctness --> Log: 结果错误
  Bench --> EnvCheck
  EnvCheck --> Bench: 降频或温漂,重测
  EnvCheck --> Gate
  Gate --> Accept: 超过噪声阈值且所有 shape 不退化
  Gate --> Revert: 否则
  Accept --> Log
  Revert --> Log
  Log --> Profile: 预算未耗尽
  Log --> Distill: 收敛或到达里程碑
  Distill --> [*]
          

诊断、检索、提假设、改代码这几步由 Agent 框架执行,其余步骤都由系统执行。Agent 能影响的只有「提交什么候选」,影响不了「候选怎么被评」。

5. 核心类型

按职责分成三组:后端插件、评测与判定(含算子契约)、知识。

5.1 后端插件

classDiagram
  class KernelBackend {
    <<interface>>
    +build(source_dir, target) Artifact
    +launch(artifact, inputs, outputs)
  }
  class Artifact {
    +cubin_paths
    +launch_meta
  }
  class TritonBackend
  class CudaBackend
  class CuteDslBackend
  class TirxBackend
  KernelBackend --> Artifact
  KernelBackend <|.. TritonBackend
  KernelBackend <|.. CudaBackend
  KernelBackend <|.. CuteDslBackend
  KernelBackend <|.. TirxBackend
          

5.2 评测与判定

classDiagram
  class Campaign {
    +op
    +backend
    +hardware
    +best_commit
    +budget
  }
  class Candidate {
    +commit
    +parent_commit
    +lever
    +hypothesis
  }
  class StaticJudge {
    +check(candidate, campaign) Verdict
  }
  class EvalClient {
    +submit(candidate) job_id
    +result(job_id) EvalResult
  }
  class EvalResult {
    +env: EnvSnapshot
    +compile_ok
    +correctness
    +perf: PerfStats
    +profile: ProfileReport
  }
  class AcceptanceGate {
    +decide(result, best) Decision
  }
  class FeedbackBuilder {
    +build(result, parent) Feedback
  }
  class Feedback {
    +symptoms
    +delta_summary
  }
  class OpSpec {
    <<interface>>
    +public_shapes()
    +hidden_shapes()
    +make_inputs(shape, seed)
    +reference(inputs)
    +tolerance(dtype)
    +baselines()
  }
  Campaign --> OpSpec
  Campaign --> "many" Candidate
  StaticJudge --> Candidate
  EvalClient --> EvalResult
  AcceptanceGate --> EvalResult
  FeedbackBuilder --> EvalResult
  FeedbackBuilder --> Feedback
          

EnvSnapshot 记录功耗模式、频率、前后温度、是否降频;PerfStats 记录中位数、噪声、相对基线的比值和逐 shape 结果; ProfileReport 记录 ncu 指标、SASS 统计、寄存器和 shared memory 用量。

5.3 知识

classDiagram
  class KnowledgeSource {
    <<interface>>
    +query(symptoms, backend, hardware) list
    +feedback(entry_id, outcome)
  }
  class ExperimentLog
  class TuningDB
  class AiInfraKB
  KnowledgeSource <|.. ExperimentLog
  KnowledgeSource <|.. TuningDB
  KnowledgeSource <|.. AiInfraKB
          

6. 关键设计

6.1 算子契约与后端分离

参考了 TIRx-kernels 的 kernel 协议,但不直接依赖它。那个协议把「测什么」(配置矩阵、正确性检查、基线)和「怎么实现」放在同一个模块里,这里拆成两部分:

一个顺带的好处:所有后端最终都产出 cubin,所以 SASS 和 ncu 是跨后端的统一反馈来源,症状映射只需要写一份,不用每种语言各写一套。

6.2 防作弊

风险对策
复用上一次的输出每次运行前用 NaN 填满输出缓冲区
针对固定输入过拟合每次评测用新的随机种子;隐藏 shape 只存在 Thor 端
硬编码 shape、读取测试数据Static Judge 做文件白名单检查和 diff 规则扫描
kernel 实际没有执行用 ncu 核对 kernel launch 数量
加速比不合理超过 Thor 实测 roofline 的结果直接标为可疑,转人工复核
Agent 谎报结果Gate 只读取 evald 写入实验日志的结果

另外可以让另一个框架或模型对 diff 给出「第二意见」,但只作参考,不作为门禁。门禁必须是确定性的。

6.3 Thor 上的测量纪律

6.4 硬件反馈:从指标到症状

ncu 一次能吐出几百个指标,直接塞给 Agent 只会稀释信号。Feedback Builder 只给少量高信号信息:排在前几位的症状标签 (如 long_scoreboard、register_spill、bank_conflict、uncoalesced_gmem)、和父候选相比的指标变化、寄存器和 shared memory 用量。

症状标签同时也是知识库的检索键。反馈和知识用同一套词表,Agent 拿到症状就能直接查到对应的改法,中间不需要做语义转换。

6.5 知识分三层

flowchart LR
  S["症状标签"] --> Q{"检索"}
  Q -->|"去重"| L1["L1 实验日志"]
  Q -->|"改法"| L2["L2 调优库"]
  Q -->|"硬件特性"| L3["L3 AiInfraKB"]
  L1 -->|"Distiller 提炼"| CAND["候选条目"]
  CAND --> H["人工审批"]
  H -->|"晋升"| L2
  H -->|"晋升"| L3
  R["候选被接受 / 无效"] -.->|"回写效果"| L2
  R -.->|"回写效果"| L3
          
层内容写入方晋升门槛
L1 实验日志每次尝试的 diff、手段、假设、结果、症状系统自动写入不需要
L2 调优库可复用的 kernel 代码改法,按症状和后端索引Distiller 草拟,人工审批正确性通过,且实测有收益
L3 AiInfraKB跨项目的事实与基准,按硬件、模型索引写入知识库的 inbox治理 bot 审核后人工批准

检索顺序是先查 L1 去重(「这个手段在这个 kernel 上已经试过并失败了」),再查 L2 找改法,最后查 L3 了解硬件特性。 知识用完之后要回写效果:检索到的条目最终带来被接受的改动,记一次成功;用了没效果也要记,用来发现过期条目。

L2 的条目格式是「一个条目一个文件,症状是唯一索引」,额外加一行 Backends。SASS 层面的经验(谓词、寄存器生命周期、访存宽度)通常跨后端通用,标为 any; 只有具体写法和语言绑定。L3 的卡片格式和治理流程见推理优化知识库设计。

6.6 适配多种 Agent 框架

7. 仓库结构

kernel-agent-loop/
kernel-agent-loop/
  docs/architecture.md
  skills/                     # optimize-loop / diagnose / distill-knowledge
  ops/<op>/spec.py            # OpSpec:参考实现、shape、容差、基线
  ops/<op>/impls/<backend>/   # Agent 唯一可写的区域
  knowledge/db/               # L2 调优库条目
  src/kernel_agent_loop/
    core/                     # campaign、gate、static judge、实验日志
    backends/                 # triton / cuda / cute / tirx
    evald/                    # Thor 端守护进程、环境守卫、隔离运行
    feedback/                 # ncu + SASS → 症状
    knowledge/                # L2 与 AiInfraKB 适配
    cli.py
    mcp.py
  tests/

8. 实施分期

阶段内容验收
P0在 Thor 上验证各后端工具链,校准带宽和算力上限各后端的 vector add 都能编译运行,校准数字落盘
P1OpSpec、CUDA 后端、本地 evald、实验日志、Gate;以 RMSNorm 跑通「提交 → 评测 → 接受或回退」故意写错和故意变慢的候选必须被拒绝
P2防作弊:隐藏 shape、输出投毒、Static Judge一组作弊候选测试必须全部被拦下
P3接入 ncu 和 SASS,实现 Feedback Builder 和 L2 检索已知症状的 kernel 输出预期标签
P4skills + MCP,至少两个框架跑通完整 campaign同一个 campaign 分别用 Cursor 和 Claude Code 跑完
P5Triton 后端、Distiller、AiInfraKB 回写晋升条目通过 AiInfraKB 的 lint

每个阶段都先给架构图、类图和测试,review 通过后再写实现。

系统自身也要有度量:每 GPU 小时换来的被接受加速、被隐藏 shape 抓住的错误接受比例、知识命中率,以及同一 kernel 换到新硬件后达到目标所需的轮数。

9. 待验证风险