跳转至

TensorRT-Edge-LLM:对本组 Thor 栈该搬什么

何时打开:要对齐 Jetson / DRIVE Thor 上 NVIDIA 官方 LLM 部署栈的核策略, 或问「Edge-LLM 哪些切法能进 TVM / UniRT,哪些是换栈」。不要当本组实现说明, 也不要把这里的数字当车端基线。

TensorRT-Edge-LLM 不在 ai_infer 组,本库不维护其源码。工作区对照: /home/nio/codes/ai_infra/r-infra/TensorRT-Edge-LLM(约 0.9.1)。 架构长文(流水线、Linear KV、量化算法表): Chameleon/docs/research/trt-edge-llm.md。 本组接线仍走 README.md。优化轮次见 projects/pi05_optimize/plan.md。

一句话:搬 SM110 AOT、按 SM 数分 tile、GEMM+GeGLU 切法、attention 阶段分核; 不换 ONNX / llm_build / C++ runtime。交付仍是 ApexInfer Session + UniRT + tvm-relax。

它是什么

面向 Jetson(Orin/Thor)和 DRIVE Thor 的 C++ LLM/VLM runtime。Python 只做 export / 量化;engine build + infer 在板端。不用 HuggingFace trace,自研 tensorrt_edgellm/models/ 出 ONNX + sidecar,板端 llm_build 编 TRT plugin 图。

和 TensorRT-LLM 是并列产品线,不是子集:Edge 重单设备可部署,TRT-LLM 重多卡吞吐。 和本组 Chameleon π0.5 TRT(trt_only)也不是同一条产物链——后者是 π0.5 三 engine(vit / llm / denoise),前者是通用 LLM/VLA(含 Alpamayo action expert)。

该搬

1. Thor 按 SM 数分 tile(不是 heuristic)

Talker MLP 不用 cublasGemmEx,走 CuTe DSL AOT: kernelSrcs/build_cutedsl.py --gpu_arch sm_110 → libcutedsl_sm110.a。 Blackwell / Thor 路径是 UMMA(tcgen05.mma)+ TMA。Thor 要显式用 Blackwell 共享内存容量,DSL 不会可靠自动探测。

CuteDslGemmRunner 在 load 时读 multiProcessorCount:

档 tile / cluster 何时
small 64×128,(1,2) M ≤ max(64, 4×SMs)。Thor ~20 SM → ≈80;B100 ~144 SM → ~512
default 128×128,(1,1) 中间档
2-CTA 256×256,(2,1) 仅 SM≤32 打开;M≥256 且(M≥512 或 N≥2048)。高 SM 关掉

低 SM 上更大算术强度优于堆 CTA。公式与注释: TensorRT-Edge-LLM/cpp/kernels/talkerMLPKernels/cuteDslGemmRunner.{h,cu}。

对本组:B2 CUTLASS 已吃到 SM100_MMA_F8F6F4,但写死「M≥128 → 2SM 256×128×64, 否则 1SM 128×256×128」。denoise M=50 本该走 small,却吃了偏肥的 1SM。 短坑:lessons/thor-sm-count-tile-dispatch.md。

FlashRT 独立得到同一原则,分发轴不同:Thor NVFP4 按 (N,K) + decoder 写死 v10(缩 N=64,MMA 不允许 tile_M 低于 128);Orin INT8 才是 M≤64 → 64×128。 对照代码:flashrt-opt-map.md「GEMM 分核」。

2. GeGLU / SiLU 是 Thor 主推融合点

同一套 GEMM 另编 bias+SiLU 变体(small / default / 2-CTA 各一份)。 NVFP4 MoE(cuteDslNvfp4MoeSm110)拆独立核:fc1_geglu_n128 / fc1_swiglu_n128 / fc1_relu2,再接 FC2。权重在 export 前 interleave gate+up(repacking.py _interleave_qwen3_swiglu_fc1)。

对本组:对应 plan.md 第二波 fused_mlp。mlc-vla 已有 flashrt.geglu 支线;缺的是「一次 GEMM + 出站激活 + 可选 quantize」。prefill 里 GeGLU+quantize 仍是独立核(B2 账约 17.6 ms)。

3. Attention 按阶段分核,RoPE 和写 KV 同核

阶段 Edge 核
Prefill CuTe FMHA(SM100+)或 fmha_v2 cubin
Decode XQA;head=512 走 FFPA 回落
位置 / KV launchApplyRopeWriteKV 写入 Linear KV;FP8 KV 时 Q 在同路径落 FP8

对本组:第三波应对齐切法,接 FlashRT / 现有 attention extern, 不要移植 AttentionPlugin。denoise 里独立 RoPE / take 仍是缺口。

4. 量化数学与 kernel layout 解耦

ModelOpt PTQ 管 amax;export 时 repacking.py 管 MMA 排布。FP8Linear 仍 emit 标准 ONNX QDQ + MatMul,融合交给 TRT。Thor 旗舰是 NVFP4 W4A4 + 可选 FP8 KV,不是 per-tensor e4m3。Orin 才走 INT4 AWQ。

对本组:e4m3 静态权重是第二波正确第一步。第三波上 NVFP4 时,repack 是正确性前提,不是性能彩蛋。量化算法对照表见 Chameleon 调研 §4.2, 不要在本篇复制。

不该搬

Edge 资产 为什么不进交付
整栈 ONNX + llm_build + C++ runtime 交付已钉 TVM;换栈等于重立项
Linear KV + setContextMemory 多 engine 共享 workspace UniRT 已是单包多函数;VLA 三 engine 串行省显存是 TRT 对照栈 的题
自研 HF 替代图 mlc-vla Relax 图已经承担「不 trace transformers」
EAGLE / MTP π0.5 是固定步 denoise,不是自回归 LLM
INT4 AWQ / Orin 路径 目标是 Thor SM110 tensor core

Alpamayo VLA(visual / llm / action 三 ONNX,VLM 写 KV → action 读 + 单步 denoise ONNX ×10)和 π0.5 拆法同类,但只作对照,不当交付蓝图。

对本组优化轮次

波次 手段 从 Edge 带走
第二波 · 已测待 review B2 CUTLASS SM100 e4m3 AOT + sm_110a 吃 TCGEN05 对了;缺 Thor 20 SM 分档
第二波 · 未开工 tile 调优 或 fused_mlp 小 M 走 64×128;GeGLU 进 GEMM 出站。二选一,先验收墙钟
第三波 NVFP4 + FlashRT attention repack 是正确性;attn 学切法不抄 plugin

先确认手段再编码,见 projects/pi05_optimize/plan.md §1.1。验收仍是同一 observation + 噪声下的 p50 与动作 cosine / L2,门禁见 playbooks/eval-compare.md。

FlashRT 对照(另一条外部路径):flashrt-opt-map.md。