跳转至

RAG 架构解析

RAG(Retrieval-Augmented Generation,检索增强生成)是让大模型回答"私有/自定义知识"问题的关键技术。

为什么需要 RAG

大模型的知识截止于训练数据,无法知道你的个人笔记、内部文档或最新内容。RAG 的思路是:回答前先从你的知识库中检索相关片段,作为上下文喂给模型,从而让回答有依据、可溯源。

标准 RAG 流程

graph LR
  A[提问] --> B[Embedding 向量化]
  B --> C[向量相似度检索]
  C --> D[召回 Top-K 文档片段]
  D --> E[组装 Prompt 上下文]
  E --> F[LLM 生成回答]
  1. 文档预处理(离线):把 Markdown 文档按段落/标题切块(chunk),每块向量化后存入向量库。
  2. 在线问答:用户问题向量化,在向量库中做相似度检索,召回最相关的 K 个片段。
  3. 增强生成:把召回的片段 + 用户问题一起作为 Prompt,交给 LLM 生成带引用的回答。

切块策略要点

切块质量直接决定检索效果:

  • 按 Markdown 标题层级 切,保证每个 chunk 语义完整、主题单一。
  • chunk 长度不宜过大(几百 token 较佳),避免语义稀释。
  • 保留 来源文件路径/标题 元数据,便于回答时附上出处。
  • 相邻 chunk 可保留少量重叠(overlap),防止关键句被切断。

评估指标

  • 召回率(Recall@K):正确答案是否出现在前 K 条召回中。
  • 回答准确性:人工/LLM 评测回答是否贴合召回内容。
  • 溯源率:回答是否给出正确的文档出处。

常见优化

  • 混合检索(BM25 + 向量),兼顾关键词与语义。
  • 用 rerank 模型对召回结果二次排序。
  • 为长文档建"父子 chunk",检索到小段、返回大段上下文。

Note

在 my_wiki 中,RAG 检索对 docs/ 下的 md 文档生效。新增/修改文档后需重建索引。