向量化与嵌入¶
Embedding(嵌入/向量化)是把文本映射为稠密数值向量的过程,是语义检索与 RAG 的基础。
什么是文本向量¶
一段文本经过 embedding 模型,会变成一个固定维度的向量(如 1024 维)。语义相近的文本,其向量在空间中也更接近,可用余弦相似度衡量。
"如何配置 Docker" --> [0.12, -0.55, 0.83, ...]
"Docker 安装教程" --> [0.14, -0.51, 0.80, ...] (相似度高)
"今天天气如何" --> [-0.70, 0.20, -0.10, ...] (相似度低)
常用 Embedding 服务¶
| 提供方 | 模型 | 维度 | 说明 |
|---|---|---|---|
| 阿里通义 | text-embedding-v3 | 1024 | 中文效果好,国内可达 |
| OpenAI | text-embedding-3-small | 1536 | 需海外网络 |
| BGE(本地) | bge-large-zh | 1024 | 可本地部署,需 GPU 更佳 |
my_wiki 优先使用通义 text-embedding-v3,走 OpenAI 兼容接口 https://dashscope.aliyuncs.com/compatible-mode/v1。
OpenAI 兼容调用示例¶
from openai import OpenAI
client = OpenAI(
api_key="你的_KEY",
base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)
resp = client.embeddings.create(
model="text-embedding-v3",
input=["如何配置 Docker"],
)
vec = resp.data[0].embedding
存储与检索¶
- 存储:向量与原文、元数据一并存入库中。
- 检索:对查询向量做 top-k 相似度检索,返回最相关的片段。
- 维度一致性:同一知识库必须使用同一个 embedding 模型,混用会因维度/语义空间不一致导致检索失效。
实践建议¶
- 文档变化频繁时可增量索引,只向量化改动文件。
- 缓存 embedding,避免重复调用产生费用。
- 大批量离线向量化优于在线逐条调用。