LLM 推理部署¶
在边缘/服务器环境部署大模型,需要关注精度、显存与吞吐的平衡。
端侧部署关注点¶
对于机器人等端侧设备,模型推理频率(Hz)至关重要。以 π0.5 这类 VLA 模型为例,其部署频率取决于优化程度:
| 部署方案 | Jetson Thor 上频率 | 说明 |
|---|---|---|
| 原生 PyTorch | ~1-2 Hz | 无法实时控制 |
| TensorRT + 量化优化 | ~10 Hz | NVIDIA 官方教程水平 |
| 深度优化(算子和量化协同) | ~22-32 Hz | 业界/社区最高水平 |
注意:推理吞吐(Hz)与闭环控制频率是两回事,实际部署还需考虑动作 chunk 的执行策略。
量化技术¶
- FP8 / NVFP4:NVIDIA Blackwell 架构(如 Jetson Thor)支持的低精度推理,显著降低显存与带宽。
- 量化对象可扩展到解码器全部 GEMM(如 QKV、门控投影),配合 FA(Flash Attention)进一步提速。
部署形态对比¶
| 形态 | 适用场景 | 典型工具 |
|---|---|---|
| 云端 API | 通用问答、无需自持 GPU | 通义、DeepSeek 等 |
| 本地推理服务 | 数据敏感、离线、低延迟 | vLLM、Ollama |
| 端侧推理 | 机器人、嵌入式 | TensorRT、FlashRT |
服务器本地 vs 云端 API 选择¶
对 my_wiki 这类知识库问答,若服务器无 GPU,走云端 OpenAI 兼容 API 最划算——无需自建推理,调用灵活、按量计费。这也是本项目的默认方案。
关键参数¶
- 上下文长度:决定单次能放多少资料,RAG 需控制在模型窗口内。
- temperature:检索问答设低值以降低幻觉。
- max_tokens:限制回答长度,防止超时或浪费。