跳转至

LLM 推理部署

在边缘/服务器环境部署大模型,需要关注精度、显存与吞吐的平衡。

端侧部署关注点

对于机器人等端侧设备,模型推理频率(Hz)至关重要。以 π0.5 这类 VLA 模型为例,其部署频率取决于优化程度:

部署方案 Jetson Thor 上频率 说明
原生 PyTorch ~1-2 Hz 无法实时控制
TensorRT + 量化优化 ~10 Hz NVIDIA 官方教程水平
深度优化(算子和量化协同) ~22-32 Hz 业界/社区最高水平

注意:推理吞吐(Hz)与闭环控制频率是两回事,实际部署还需考虑动作 chunk 的执行策略。

量化技术

  • FP8 / NVFP4:NVIDIA Blackwell 架构(如 Jetson Thor)支持的低精度推理,显著降低显存与带宽。
  • 量化对象可扩展到解码器全部 GEMM(如 QKV、门控投影),配合 FA(Flash Attention)进一步提速。

部署形态对比

形态 适用场景 典型工具
云端 API 通用问答、无需自持 GPU 通义、DeepSeek 等
本地推理服务 数据敏感、离线、低延迟 vLLM、Ollama
端侧推理 机器人、嵌入式 TensorRT、FlashRT

服务器本地 vs 云端 API 选择

对 my_wiki 这类知识库问答,若服务器无 GPU,走云端 OpenAI 兼容 API 最划算——无需自建推理,调用灵活、按量计费。这也是本项目的默认方案。

关键参数

  • 上下文长度:决定单次能放多少资料,RAG 需控制在模型窗口内。
  • temperature:检索问答设低值以降低幻觉。
  • max_tokens:限制回答长度,防止超时或浪费。