优化 Agent 两层工作流:战役规划 + 裁判
把「下一步做什么」和「这一步做没做成」拆给两层:上层按收益排格子、判断是否达标;规划层选格子,也选格子里的下一刀;裁判层只评测、判定和归纳结论。 设计方案 · 2026-10-25,同日更正:提案排序不在 kernel-agent-loop。
1. 结论
这套设计是在推理优化知识库的「优化地图」之上补出来的: 知识库负责记录和排序,算子优化闭环的评测与裁判机制负责格子内部的执行。
2. 为什么要拆
优化地图把推理优化拆成阶段(画像 → 图清理 → 预计算 → 量化 → 融合 → CUDA Graph → 调度 → 收口),
每个阶段的节点再乘以模型的子图模块(vision、llm、dit 等),得到一张「节点 × 模块」的格子表。
工具 kb next 每次返回唯一的下一格,Agent 只做这一格,做完把结论钉回格子。
它解决了两个真实问题:Agent 凭感觉排刀序,以及重做已经否掉的实验。
但单层设计让一个工具同时回答两个问题,暴露出这些不足:
| 不足 | 表现 |
|---|---|
| 顺序写死 | 按阶段顺序取第一个空格子,不看时间花在哪个模块,最大的那段耗时可能一直排不上 |
| 不知道目标 | 不读目标耗时和当前基线,达标了不停,差距大也不会优先做大块 |
| 格子空间固定 | 所有模型都生成同样的「节点 × 模块」全集,会出现对某个模型根本不存在的格子 |
| 结论靠自报 | apply 还是 reject 由 Agent 自己填,没有统一的评测器和门限 |
| 一格一状态 | 格子内部试过哪些具体方案、各自数字多少,没有结构化记录,也没有预算 |
| reject 永久 | 否决不带软件版本等条件,版本变了也不会重开 |
| 串行、易撞车 | 只读已入库的卡,提交后、审批前同一格会再发给别人 |
前两条和第六、七条属于「做哪一格」,第四、五条属于「这一格做没做成」。拆开之后,各自都能用更合适的方法解决。
3. 整体架构
flowchart TB
subgraph upper["上层:战役规划(kb next)"]
T["交付线目标
目标 ms · 精度门 · 当前基线"] --> R["排序
耗时占比 × 先验成功率 ÷ 成本
依赖只作硬约束"]
C["知识卡
已关闭格子 · 跨模型先验"] --> R
R --> TK["格子工单"]
ST{"达标或候选为空?"} -->|是| STOP["stop"]
end
subgraph plan["规划:AiInfraKB"]
RK["rank_next 选提案
预期收益 × 先验 ÷ 成本"]
end
subgraph lower["裁判:kernel-agent-loop"]
B["复测当前最优组合
估计噪声"] --> F["评测漏斗
静态 → 编译 → 算子正确性 → 微基准
→ e2e 精度门 → e2e 交错测时"]
F --> GATE["验收门限
接受 / 回退 / 拒绝 / 无效"]
GATE --> LOG["尝试日志"]
LOG --> SUM["归纳格子结论"]
end
TK --> RK
RK --> B
LOG --> RK
SUM --> P["写回:结论卡 + 新基线卡 + 门限判定"]
P --> PEND["inbox 占位(pending)"]
PEND --> ST
ST -->|否| R
4. 上层:战役规划
上层不碰代码。生成格子、停止、占位、有交付线时的收益排序,以及把选中的格子发成工单,都已经落地。没有交付线时仍按地图顺序。地图上没有的新类别用试行节点,那一部分尚未实现。
规划层做三件事:
- 生成合法格子。每条交付线声明自己有哪些模块,格子只在这些模块上生成;节点声明适用范围,比如「收口」只针对端到端。覆盖率按交付线(模型 × 场景 × 硬件)计算,而不是只按模型。
- 按收益排序。地图的依赖关系只当硬约束(比如图稳定前不做 CUDA Graph),优先级由数据决定:
历史成功率来自其他模型的知识卡:它们只作先验,不关闭本交付线的格子。分数 ≈ 该模块在最新基线里的耗时占比 × 这类改动在同类模块上的历史成功率 ÷ 预计成本 - 判断停止。读取交付线的目标耗时、精度门和当前基线卡;达到目标且精度门通过就返回 stop,并在 reason 里写明差距已清零。
另外,上层维护格子的占位:领走的格子在过期前不再发给别人,提交到 inbox 后变为 pending,同样不再返回。这样多个 Agent 可以用 --top-k 各领一格并行工作。
当前格子怎么选
有交付线时,kb next 按「模块耗时 × 这类改动在其他模型上的历史成功率 ÷ 成本」选格,半截格子的成本更低。没有交付线时仍按地图顺序,并且战役推到后面阶段后不再回头填更早的空格。格子本身是预先展开的:优化地图固定阶段和节点,一格是「节点 × 模块」。卡片和雷达假设都只能挂到已有节点上,挂不上的写法不会出现在候选里。
模块有两种算法。交付线声明了自己的模块时,每个节点只用自己的模块名单与这份声明的交集,画像和收口通常只剩端到端。没有这份声明时,再并上全局模块顺序,以及这张硬件、这个模型的卡片里已经出现过的模块。
选出下一格的顺序是:
- 同一硬件只有一条交付线时可以不指定场景;有多条就必须指定。
- 基线端到端耗时已经不高于目标就停止,并写明当前值、目标和差距。这一步只看耗时,精度门仍是给人看的文字。
- 按地图顺序去掉:已经关闭的格子、只记账的测量、inbox 里正在写的草稿、别人还没过期的占位、依赖还没满足的格子。没有交付线时,还去掉战役已经推进到后面阶段时更早阶段的空格子。半截格子留在候选里。
- 后面的阶段跳过了前置、导致没有候选时,回补依赖链上最前面的缺口。
- 没有交付线时,半截格子排在空格子前面,其余保持地图顺序。有交付线时按上面的分数取最高的一格。
kb ticket把这一格打成工单并占位,调用时必须给出领取者。
新模型的第一格因此总是画像阶段的端到端:它没有依赖,又排在地图最前。雷达不参与这次选择。格子定下来之后,挂在这格上的雷达条目只作为阅读材料返回。
flowchart TD
A["按交付线展开预先定义的格子"] --> B{"端到端已不高于目标?"}
B -->|是| S1["停止,并写明差距"]
B -->|否| C["去掉关闭、草稿、被占、越级空格和依赖未满足的格子"]
C --> D{"还有候选?"}
D -->|有| E["半截格子优先,取地图顺序的第一格"]
D -->|前置被跳过| F["回补依赖链最前面的缺口"]
D -->|没有| S2["停止"]
F --> E
地图上没有的类别:试行节点
能归进已有节点的写法,例如融合里的另一种接法,是这一格里的一刀,不需要新格子。地图上没有的类别则进不了候选。试行节点用来加类别,而且先只加在提出它的那条交付线上。这一节是设计,还没有实现。
Agent 把提案写进 inbox。依据至少一条:一条已经分诊过的雷达,或一张画像卡,用来指出哪一段耗时还没有格子覆盖。没有依据的提案不通过检查。示意如下,编号都是假的:
id: token-prune
title: 视觉 token 剪枝
depends_on: [profile]
modules: [vision, llm]
track: vla-x/scene-a
basis:
- radar: rd-0001
- card: kb-0001
status: trial
- 检查节点名、依赖、模块和依据。模块仍来自词表;节点名不与地图上已有节点重复。
- 只在这条交付线上展开,并和地图格子走同一套选择。没有跨模型的历史卡片,所以默认先验更低、成本更高,不会凭空排到有证据的格子前面。
- 结论卡可以钉在试行节点上。
- 有了带证据的接受或部分接受之后,由人批准写进优化地图,此后所有模型都展开这个节点。
- 被拒绝,或过期仍无人领取,就关闭试行。卡片留下,避免下次照原样再提。
地图仍由人改。直接往地图里加节点会让所有模型同时多出一排空格子。试行把这个影响限制在一条交付线上。雷达进候选是另一件事:它不新增类别,只让已经挂在某个格子上的假设参与排序,并成为这一格里的一刀。地图上找不到节点的雷达,先用它作为依据提出试行节点。
flowchart TD
P["提案进入 inbox,依据是雷达或画像"] --> L["检查名字、依赖、模块和依据"]
L --> U["只在该交付线展开,并与地图格子一起选"]
U --> C["结论钉在试行节点上"]
C --> R{"结论"}
R -->|接受或部分接受| H["人批准后写入地图"]
R -->|拒绝或过期| X["关闭试行,卡片留下"]
H --> ALL["之后所有模型都展开这个节点"]
5. 格子工单
工单要让下层不用回头猜,需要带齐目标、起点、约束和预算。有交付线时,知识库按当前选中的格子发出工单并占住该格。精度检查来自单独的结构化列表,不从给人看的文字里解析;基线没有提交号就不发。下面的数字只是示意:
ticket: vla-x/scene-a/fusion/llm.prefill
track: {model: vla-x, track: scene-a, hardware: thor}
goal:
target_ms: 30
current_ms: 36.0 # 来自当前基线卡
module_share_ms: 17.5 # 该模块在最新基线里的耗时
accuracy_gate: "动作输出 cos > 0.999 且 mse < 5e-4"
incumbent: repo@<commit> # 当前最优组合,下层所有测量都以它为对照
priors: # 其他模型同节点同模块的卡,只作参考
- {model: vla-y, outcome: partial, note: 激活函数 glue 窄合}
do_not_replay: [...] # 本交付线已关闭的格子
budget: {attempts: 12, wall_hours: 6, e2e_runs: 4}
lease: {agent: agent:xxx/thor-01, expires: 2026-10-25T18:00}
最关键的字段是 incumbent。各个优化是叠加的:量化之后再融合,融合的收益要在量化后的组合上测,不能和最初的基线比。
6. 下层:九步流程
下层拿到工单后,先做一步开工准备,再走九步。
0开分支,钉住起点
每张工单对应一个独立的 git 分支,起点就是 incumbent。候选是分支上的 commit,接受就前移最优标记,回退就切回父提交。失败的尝试也留有 commit,可以复查。
算子优化闭环里的 Campaign(commit_candidate / accept / revert)正是这个模型。
1同一会话复测起点,估计噪声
边缘设备上同一配置一天之内可能漂移十几个百分点,拿昨天的数字当对照会把噪声当成收益。所以开工先在当前机器上把 incumbent 跑几轮,得到:
- 起点耗时,包括端到端和分段;
- 噪声百分比,它决定后面「多快才算真快」的门槛;
- 环境快照:频率、温度、是否降频。
如果复测发现起点和基线卡差很多(比如别人合入了新改动),先出一张 measure 卡更新基线,再回上层重新排序,而不是在过时的起点上搜索。
2生成候选方案
一格里通常有 3 到 8 个候选,来源依次是:
- 本格的画像拆账:相邻算子之间有哪些冗余的显存读写;
- 工单里的跨模型先验:别的模型上什么成了、什么没成;
- 技术雷达里落在这一格上的候选条目;
- 模型自己提出的假设。
每个候选写成「改什么 + 为什么 + 预期省多少」:
h1: 融合 RMSNorm 与 QKV 输入量化,省一次激活读写,预期 −0.6 ms
h2: gate/up 两个 GEMM 拼成一个,预期 −0.4 ms
h3: residual add 并入 o_proj epilogue,预期 −0.2 ms
预期收益就是搜索时的优先级。省多少显存读写,可以用「字节数 ÷ 实测带宽」粗算,一开始不需要很准。
3规划层选出下一刀
这一步是 AiInfraKB 的 rank_next,不是 kernel-agent-loop。Agent 提交候选和已有判定,函数返回唯一的下一个提案。扩展分三种:
| 操作 | 做什么 | 限制 |
|---|---|---|
| 起草 | 从当前最优节点出发实现一个新候选 | 每个候选只改一个手段,便于归因 |
| 修复 | 编译失败或结果不对时,带着报错修一次 | 次数有上限,比如 2 次,超了就放弃该节点 |
| 改进 | 在已接受的节点上再叠一个候选,或调 tile、block 等参数 | 纯数值参数交给搜索器,不浪费大模型调用 |
选哪个节点扩展,用一个简单规则就够:
分数 = 预期收益 × 先验 ÷ 成本
同分按名字排序。reject 先修复,次数有上限;invalid 不占手段。已经接受的手段不再起草。纯数值参数(tile、stage)仍由 kernel-agent-loop 的搜索器扫,那不是提案排序。
4评测漏斗:便宜的先测,贵的少测
端到端测一次要编译出包、上设备、跑多轮,很贵。每个候选按成本从低到高过关,前一关不过就不进下一关:
| 关卡 | 检查什么 | 成本 |
|---|---|---|
| 静态检查 | 改动是否越界:没碰评测脚本、没改精度门、代码放在规定的仓库里 | 秒级 |
| 编译 | 能否构建 | 分钟级 |
| 算子正确性 | 与参考实现逐元素对比 | 秒级 |
| 算子微基准 | 和 incumbent 的同一算子交错测量,必须快过噪声 | 分钟级 |
| 端到端精度门 | 交付线的精度门 | 分钟到十分钟级 |
| 端到端交错测时 | incumbent 和候选交替跑多轮,取分段和端到端 | 十分钟级 |
用「交错」测量而不是先跑完 A 再跑 B,是为了让频率和温度的漂移同时作用在两边。
微基准快了不代表端到端也快(可能被别的段抵消,或者多出一次拷贝),所以端到端是最终裁判,但只给通过前面各关的候选用,次数受工单里 e2e_runs 限制。
5门限裁决,不由 Agent 自己说
| 判定 | 条件 | 后续 |
|---|---|---|
| 拒绝 | 编译失败或结果不对 | 记日志;可以修复,但有次数上限 |
| 无效 | 测量前后环境变了(降频、温度过高) | 不计入已试,稍后重测 |
| 回退 | 正确,但没有快过噪声,或某一段变慢超过噪声 | 记日志,分支回到 incumbent |
| 接受 | 正确,且几何平均提速超过噪声门槛 | incumbent 前移到这个节点 |
精度和速度分开判定:精度门不过,再快也是拒绝。门槛取「噪声」和「最小收益」中较大的那个,避免噪声里的零点几个百分点被当成提速。
6接受就前移,在新的最优点上叠加
接受之后,后面的候选都在新的 incumbent 上起草和测量。所以 h1 接受后再试 h2,测出的是「在 h1 之上 h2 还能省多少」,收益可以直接叠加,不会重复计算。
7什么时候停
满足任一条件就结束这一格:
- 预算用完:尝试次数、时长或端到端测量次数;
- 收益饱和:连续 K 次(比如 3 次)没有接受;
- 本格累计收益已接近该模块耗时占比的合理上限,继续压不如换一格;
- 候选全部试完。
8由日志归纳结论
| 结论 | 规则 |
|---|---|
| apply | 至少一次接受,且相对起点的端到端净收益超过噪声 |
| partial | 有接受,但预算用完时仍有预期收益明显的候选没试;写清剩下的候选 |
| reject | 没有任何接受,并且主要候选都已试过(拒绝或回退) |
| measure | 本格没有改代码,只补了画像或基线 |
reject 要附带条件:当时的软件版本、精度方案、试过的候选和各自的数字。将来版本变了,或者技术雷达出现新手段,上层可以把它降为「过期否决」并重新打开。
9写回知识库
一次提交交三样东西:
- 结论卡:钉在本格上,claim 写净收益,比如「prefill 17.5 → 16.6 ms,e2e 36.0 → 35.1 ms」(示意数字);正文列出被接受和被否的候选。
- 新基线卡:本格有接受时,新 incumbent 的端到端和分段,必须来自同一次测量。
- 证据:门限判定和尝试日志。人审批时看的是门限给出的数字,而不是 Agent 的描述。
提交后格子变为 pending,上层不再发这一格。审批通过即关闭;被驳回则重新打开,并附上驳回理由。
7. 回到上层:下一轮怎么排
- 用新基线更新各模块的耗时占比,下一轮自然转向现在最大的那一段;
- 用新结论卡更新「这类改动在这类模块上的成功率」,供所有模型参考;
- 和目标对比:达到目标耗时且精度门通过就返回 stop;否则差距越大,越优先选占比大的格子。
sequenceDiagram
participant U as 上层 kb next
participant A as 优化 Agent
participant E as 评测器
participant K as 知识库 inbox
participant H as 人
U->>A: 格子工单(目标、incumbent、先验、预算、占位)
A->>E: 复测 incumbent
E-->>A: 起点耗时 + 噪声
loop 每个候选,直到预算耗尽或收益饱和
A->>E: 候选进评测漏斗
E-->>A: 门限判定(接受/回退/拒绝/无效)
end
A->>K: 结论卡 + 新基线卡 + 判定与日志
K-->>U: 格子变为 pending
H->>K: 审批
K-->>U: 关闭或重开,更新占比与先验
8. 与开源做法对照
| 本设计 | 借鉴来源 | 这里的取舍 |
|---|---|---|
| 上层按收益分配格子 | Ansor / MetaSchedule 的任务调度器:潜在收益大的子图分到更多调优预算 | 收益用画像占比和历史成功率估算,不训练代价模型 |
| rank_next:起草、修复 | AIDE 的解法树 | 放在规划层。预算小,按分数排序,没有种群 |
| 从当前最优出发变异 | AlphaEvolve / OpenEvolve | 不需要种群,只保留一条最优线 |
| 评测漏斗 | AlphaEvolve 的分级评测 | 第一关就拦「改评测脚本、降精度门」这类作弊 |
| 评测器是唯一裁判 | KernelBench、SOL-ExecBench 一类基准 | 加上交错测量和环境检查,应对边缘设备的频率漂移 |
| 带条件的 reject 记录 | 自动调优器的调优记录库:按 workload × target × 版本存 | 版本变了允许重开 |
9. 落地注意
- 评测后端要升到模型级。分支管理、门限、日志、交错测量、环境检查可以直接复用算子优化闭环;但多数格子是模型级的(比如「融合 × llm」),需要补一个模型级的评测后端:构建出包,在设备上跑端到端加精度门。这是工作量最大的一块。
- 防作弊放在评测器一侧。精度门、测量脚本、参考输出放在 Agent 改不了的地方,静态检查只认白名单路径。
- 人审批保留,但审的是证据。审批对象从「Agent 的自述」变成「门限判定 + 日志」,审得更快;信任度上来之后,「门限判定为 apply 且附基线卡」的提交可以走快速通道。
- 边缘设备的噪声是一等公民。同会话复测、交错测量、环境快照三件事缺一不可,否则搜索会追着噪声跑。
10. 实施顺序
| 阶段 | 内容 | 验收 |
|---|---|---|
| S1 | 上层修正:按交付线生成合法格子、读目标与基线判断停止、pending 与占位 | 不存在的模块不生成格子;达标返回 stop;已提交的格子不再返回 |
| S2 | 上层排序:耗时占比 × 先验成功率 ÷ 成本,去掉「前线跳过」规则 | 最大耗时段对应的格子排在前面 |
| 试行节点 | 地图上没有的类别先在一条交付线试行,有证据后再由人写入地图 | 新类别不改地图也能被选中;未批准前其他模型看不到它 |
| S3 | 下层结论归纳:由尝试日志和门限判定算出 apply / partial / reject / measure | 同一份日志总是归纳出同一个结论 |
| S4 | 模型级评测后端:构建出包、端到端精度门、交错测时 | 故意降精度或故意变慢的候选被拦下 |
| S5 | 带条件的 reject 与重开、跨 Agent 并行 | 软件版本变化后对应的否决格子重新出现 |
每个阶段都先给测试,review 通过后再写实现。