跳转至

向量化与嵌入

Embedding(嵌入/向量化)是把文本映射为稠密数值向量的过程,是语义检索与 RAG 的基础。

什么是文本向量

一段文本经过 embedding 模型,会变成一个固定维度的向量(如 1024 维)。语义相近的文本,其向量在空间中也更接近,可用余弦相似度衡量。

"如何配置 Docker"  -->  [0.12, -0.55, 0.83, ...]
"Docker 安装教程"   -->  [0.14, -0.51, 0.80, ...]   (相似度高)
"今天天气如何"      -->  [-0.70, 0.20, -0.10, ...]  (相似度低)

常用 Embedding 服务

提供方 模型 维度 说明
阿里通义 text-embedding-v3 1024 中文效果好,国内可达
OpenAI text-embedding-3-small 1536 需海外网络
BGE(本地) bge-large-zh 1024 可本地部署,需 GPU 更佳

my_wiki 优先使用通义 text-embedding-v3,走 OpenAI 兼容接口 https://dashscope.aliyuncs.com/compatible-mode/v1。

OpenAI 兼容调用示例

from openai import OpenAI

client = OpenAI(
    api_key="你的_KEY",
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)

resp = client.embeddings.create(
    model="text-embedding-v3",
    input=["如何配置 Docker"],
)
vec = resp.data[0].embedding

存储与检索

  • 存储:向量与原文、元数据一并存入库中。
  • 检索:对查询向量做 top-k 相似度检索,返回最相关的片段。
  • 维度一致性:同一知识库必须使用同一个 embedding 模型,混用会因维度/语义空间不一致导致检索失效。

实践建议

  • 文档变化频繁时可增量索引,只向量化改动文件。
  • 缓存 embedding,避免重复调用产生费用。
  • 大批量离线向量化优于在线逐条调用。