RAG 架构解析¶
RAG(Retrieval-Augmented Generation,检索增强生成)是让大模型回答"私有/自定义知识"问题的关键技术。
为什么需要 RAG¶
大模型的知识截止于训练数据,无法知道你的个人笔记、内部文档或最新内容。RAG 的思路是:回答前先从你的知识库中检索相关片段,作为上下文喂给模型,从而让回答有依据、可溯源。
标准 RAG 流程¶
graph LR
A[提问] --> B[Embedding 向量化]
B --> C[向量相似度检索]
C --> D[召回 Top-K 文档片段]
D --> E[组装 Prompt 上下文]
E --> F[LLM 生成回答]
- 文档预处理(离线):把 Markdown 文档按段落/标题切块(chunk),每块向量化后存入向量库。
- 在线问答:用户问题向量化,在向量库中做相似度检索,召回最相关的 K 个片段。
- 增强生成:把召回的片段 + 用户问题一起作为 Prompt,交给 LLM 生成带引用的回答。
切块策略要点¶
切块质量直接决定检索效果:
- 按 Markdown 标题层级 切,保证每个 chunk 语义完整、主题单一。
- chunk 长度不宜过大(几百 token 较佳),避免语义稀释。
- 保留 来源文件路径/标题 元数据,便于回答时附上出处。
- 相邻 chunk 可保留少量重叠(overlap),防止关键句被切断。
评估指标¶
- 召回率(Recall@K):正确答案是否出现在前 K 条召回中。
- 回答准确性:人工/LLM 评测回答是否贴合召回内容。
- 溯源率:回答是否给出正确的文档出处。
常见优化¶
- 混合检索(BM25 + 向量),兼顾关键词与语义。
- 用 rerank 模型对召回结果二次排序。
- 为长文档建"父子 chunk",检索到小段、返回大段上下文。
Note
在 my_wiki 中,RAG 检索对 docs/ 下的 md 文档生效。新增/修改文档后需重建索引。