Anger

AiInfra 知识库建设分享

让 Agent 的每一次优化实验,都变成下一个 Agent 可以直接用的工程资产

01背景:AI Native 带来的开发模式变化

过去是"人写代码、工具辅助";现在越来越多是"人定目标和边界、Agent 执行"。

开发模式在怎么变

维度传统开发AI Native 开发
谁执行工程师亲手改代码、跑实验、看数据Agent 读代码、改代码、跑 bench、写报告;人负责定方向和验收
节奏一人一天几次实验多个 Agent 并行,一天可以跑几十轮"改-测-比"
经验在哪在工程师脑子里、组内 wiki、口口相传在一次次会话里;会话一结束,上下文就没了
质量靠什么个人经验 + Code Review需要明确写下来的规则、可机器校验的契约、可复现的评测
人的角色执行者规则制定者、审核者、方向决策者

Agent 承担的工作越来越多

做实验

在 GR00T / Pi0.5 等模型上做图优化、算子替换、kernel 调优,一轮一轮地改了测。

做判断

决定这个优化项值不值得、要不要保留、下一优化项做什么——过去这是资深工程师的活。

做沉淀

把结论、证据、踩过的坑写下来,交给后来的人和 Agent 使用。

问题随之而来:Agent 没有长期记忆,每次开新会话都是"新人";多个 Agent 各干各的,结论互相覆盖、互相矛盾;Agent 自己报的数字,人很难判断是否可信。

知识库在新开发模式中的位置

新开发模式:人 · 知识库 · 并发 Agent 读取规范 / 知识 / 工单 写回草稿 / 证据 人:定方向 · 定规范 · 审核放行 从"执行者"变成"规则制定者 + 审核者" 规范下发 · 审核放行 待审草稿 知识库 + 统一规范(共享大脑) 长期记忆 · 共同规则 · 可信账本 · 调度依据 所有 Agent 从这里领任务、按这里的规则干活、把结果交回这里 Agent 1 Agent 2 Agent 3 · · · Agent N 统一评测平台(模型级 Forge / 算子级 kal):数字由平台产出 并发 Agent 数 vs 有效产出 并发 Agent 数 → 有效产出(被采纳的结论 / 收益) 知识库建设好:近线性扩展 没有知识库:很快饱和甚至下降 两条曲线的差距(橙色虚线)= 重复试错 + 结论冲突 + 数字不可信 + 人审不过来

左:知识库位于人和并发 Agent 之间,是任务、规则和结论的唯一汇合点。右:示意曲线。知识库建设得好不好,决定了多加一个 Agent 是增加产出,还是增加重复和冲突。

并发的上限由知识库决定

Agent 能随时加,但只有共享同一份记忆和规则,N 个 Agent 才是 N 倍产出,而不是 N 次重复。

人的带宽由知识库放大

人不可能盯每个会话。规范把共性要求前置,lint 拦住格式问题,人只审关键判断,一个人能支撑更多 Agent。

产出会复利累积

每一轮被采纳的结论都会让下一轮选题更准、试错更少,知识库越完善,后续每个 Agent 的起点越高。

知识库在这里起什么作用?一句话:它是 Agent 团队的"长期记忆 + 共同规则 + 可信账本"。
  • 长期记忆:做过什么、结果怎样、哪里是死路,跨会话、跨 Agent、跨人都能查到。
  • 共同规则:所有 Agent 按同一套规程干活,不靠每个人在 prompt 里各写一遍。
  • 可信账本:只有经过统一评测、人工审核的结论才进入正式知识,后来者可以直接信任和引用。
  • 调度依据:下一优化项做什么,由知识库里的已有结论推出来,而不是靠 Agent 临场发挥。

02通过知识库解决哪些痛点

这些都是我们在 Agent 做模型优化时真实遇到的问题。

经验散落在会话里

一个 Agent 花几小时得出"这条融合在 Thor 上没收益",会话关掉就丢了,下一个 Agent 又试一遍。

→ 结论写成卡片,带证据和适用范围,任何人随时可查。

重复试错、反复踩死路

已经验证过不行的方向,没有地方记录"别再做",被不同 Agent 反复尝试。

→ 负面结论同样入库,明确标注"不要重放",选题时自动跳过。

数字不可信、口径不统一

每个 Agent 用自己的脚本、自己的 warmup 和统计口径测,报出来的加速比无法横向比较。

→ 统一评测入口和判定规则,数字由平台产出,不由 Agent 手填。

没人统一决定"下一优化项"

多个 Agent 同时挑题,有的重复、有的冲突,资源花在低价值方向上。

→ 由知识库里的优化地图和已有结论推出唯一的下一个任务。

经验难跨模型、跨硬件复用

在 GR00T 上学到的东西,换到 Pi0.5 或换一块卡,就不知道还算不算数。

→ 每条知识写明适用的模型、硬件、软件栈,复用时有据可依。

新人 / 新 Agent 上手成本高

规矩靠口头传授,新接入的工程或 Agent 不知道哪些能做、哪些不能做。

→ 规范一条命令导入工程,Agent 开工即自动遵守。

知识会过期,却没人知道

软件栈升级后,旧结论可能已经不成立,但仍被当成事实引用。

→ 知识带版本信息和复核期限,超期时 lint 告警提示复核。

Agent 写错的东西污染全局

如果 Agent 能直接改正式知识,一次错误结论就会被后续所有 Agent 采信。

→ Agent 只能提交草稿,必须经人审核才能进入正式知识。

03如何写入知识库:统一规范约束 + 人工审核

核心设计只有两条:规范由工具统一下发,Agent 照章办事;Agent 只能写草稿,正式知识由人放行。

第一步:用 agent-kit 把统一规范导入工程

agent-kit 解决的不是"写几条 prompt",而是:规范只维护一份,按场景裁剪,再翻译成各 Agent 工具能读的格式,并支持一处更新、多仓同步。

对接不同 Agent 工具

Cursor 读 .mdc 规则,Claude Code 读 CLAUDE.md / AGENTS.md。同一套规范正文,由适配层生成各工具入口,避免每个工具手抄一份、互相漂移。

应用约束到新工程

新仓一条 agentkit apply --profile …:按 profile 选中规范包,写入规则目录、索引和本仓标记 .agentkit.toml。Agent 一打开工程就按统一规矩干活。

更新约束、防止漂移

规范只在 agent-kit 改。已登记的目标仓跑 agentkit sync(或 sync --check)批量对齐;不用每个仓、每个人各自改 prompt。

agent-kit 架构

① 规范源(只维护这一份) standards/ 规范正文(唯一真相) core · testing · architecture 含 AiInfraKB 写入规程等 人在这里改,不在业务仓改 profiles/ 按工程类型裁剪规范包 core → product-dev → … 决定「这个仓启用哪些」 ② CLI + 适配层 agentkit CLI lint apply sync 校验规范 → 写入目标仓 / 批量对齐 adapters(工具适配) 同一规范 → 多工具可读格式 .cursor/rules/agent-kit/*.mdc AGENTS.md 索引 · CLAUDE.md 指针 agentkit.toml [[targets]] 登记已接入仓 ③ 业务工程(多仓) demo-opt / mlc-vla / … .agentkit.toml 记住 profile · 版本 落盘产物(生成物,勿手改) .cursor/rules/agent-kit/ · AGENTS.md CLAUDE.md → @AGENTS.md(若需要) ④ 不同 Agent 工具读取 Cursor 加载 .mdc 规则 Claude Code 等 读 AGENTS / CLAUDE 工作流 改 standards / profiles → agentkit lint → 新仓 apply 已登记仓 sync / sync --check → 适配层写工具文件 .mdc · AGENTS.md · CLAUDE.md → Agent 照章执行

规范正文和 profile 只在 agent-kit 维护;CLI 负责校验与下发;适配层翻译成 Cursor / Claude Code 等工具的入口文件;业务仓只消费生成物。

新工程接入:apply

在目标仓根目录执行 agentkit apply --profile product-dev(可加 --register 登记进中心 agentkit.toml)。会写入:

  • .cursor/rules/agent-kit/:工具自动加载的规则
  • AGENTS.md:索引(含 on-demand 规程)
  • .agentkit.toml:本仓 profile / 版本标记

已接入仓更新:sync

中心改完规范后,对 [[targets]] 里登记的仓库执行 agentkit sync 批量重写生成物;sync --check 用于 CI:磁盘与应生成结果不一致则失败,防止有人手改或漏同步。

不同场景用不同 profile(如 product-dev 带上优化闭环、评测、入库等规程),不是全量硬塞。

规范里约束了什么(节选)

  • 写入知识库只能走提交草稿的入口(kb propose),草稿进入待审区 inbox/
  • 每条结论都要附证据:评测产物、版本信息、适用的模型 / 硬件 / 软件栈
  • 性能数字必须来自统一评测产物,写明口径,不得手抄或估算
  • 没有收益或失败的尝试也要写回,说明原因
  • 直接修改正式知识目录 cards/
  • Agent 执行审核放行(kb accept)——这是人的专属动作
  • 改写历史卡片;结论变了就提交新卡片并标注取代关系

第二步:人审核入库

Agent
提交草稿kb propose 写入 inbox/
→
工具
自动校验kb lint 检查格式、字段、证据是否齐全
→
人
审核内容看证据是否可信、结论是否过度推广、范围写得对不对
→
人
放行 / 退回kb accept 进入 cards/;不合格则退回修改
→
所有 Agent
正式可用后续查询、选题、工单都基于正式卡片

机器管格式

字段缺失、证据路径不存在、版本没写——这类问题由 lint 自动拦下,人不用逐条看。

人管判断

人只聚焦机器判断不了的:这个结论成立吗?能推广到别的模型和硬件吗?

正式知识可追溯

每张卡片都有来源、证据和审核记录,出了问题能查到是哪次实验、谁放行的。

教学视频:从工程接入到人审核入库

以 demo-opt 工程 × Thor × GR00T 为例,演示 agentkit apply 导入规范、Agent 按规范提交草稿、人审核放行的完整过程(不讲选题 / 工单工作流,那部分见下一节)。适合第一次接入时观看。

视频:agent-kit 接入教学(规范导入 → Agent 写草稿 → 人审核入库)

04AiInfra 工作流:知识如何驱动下一轮优化

知识库不只是"存",更重要的是"用":正式知识直接决定下一优化项做什么、怎么测、怎么判。

知识库
优化地图阶段 × 节点 × 模块划成格子,记录每格的已有结论
→
知识库
选出下一格kb next 按地图和规则推出唯一任务
→
知识库
发工单kb ticket 带上目标、约束和评测契约
→
Agent
实现 + 统一评测模型级走 Forge,算子级走 kal evald
→
Agent → 人
交回结果写回草稿,经审核更新地图

视频:AiInfraKB 工作流详解(约 14 分钟)

视频章节

  1. 要解决的问题:谁来决定下一优化项
  2. 如何分工
  3. 知识库里有什么
  4. 一张卡长什么样(真实卡 kb-0019)
  5. 优化地图:阶段 × 节点 × 模块 = 格子
  6. GR00T × Thor:交付线与地图覆盖
  7. 卡片里记下的优化项(GR00T 开发会话数据)
  8. kb next:怎样选出唯一的下一格
  9. kb ticket:把这一格发成工单
  10. 算子级评测:kal evald 的一轮
  11. 模型级评测:走 Forge Service
  12. 算子级真机例:thor-003 上两轮 RMSNorm
  13. 交回:从实验日志到地图
  14. 除了格子结论,还有哪些知识通道
  15. 现状:跑通了什么、方案定了什么
  16. 下一步:按统一评测里程碑推进