TensorRT-Edge-LLM:对本组 Thor 栈该搬什么¶
何时打开:要对齐 Jetson / DRIVE Thor 上 NVIDIA 官方 LLM 部署栈的核策略, 或问「Edge-LLM 哪些切法能进 TVM / UniRT,哪些是换栈」。不要当本组实现说明, 也不要把这里的数字当车端基线。
TensorRT-Edge-LLM 不在 ai_infer 组,本库不维护其源码。工作区对照:
/home/nio/codes/ai_infra/r-infra/TensorRT-Edge-LLM(约 0.9.1)。
架构长文(流水线、Linear KV、量化算法表):
Chameleon/docs/research/trt-edge-llm.md。
本组接线仍走 README.md。优化轮次见
projects/pi05_optimize/plan.md。
一句话:搬 SM110 AOT、按 SM 数分 tile、GEMM+GeGLU 切法、attention 阶段分核;
不换 ONNX / llm_build / C++ runtime。交付仍是 ApexInfer Session + UniRT + tvm-relax。
它是什么¶
面向 Jetson(Orin/Thor)和 DRIVE Thor 的 C++ LLM/VLM runtime。Python 只做
export / 量化;engine build + infer 在板端。不用 HuggingFace trace,自研
tensorrt_edgellm/models/ 出 ONNX + sidecar,板端 llm_build 编 TRT plugin 图。
和 TensorRT-LLM 是并列产品线,不是子集:Edge 重单设备可部署,TRT-LLM 重多卡吞吐。
和本组 Chameleon π0.5 TRT(trt_only)也不是同一条产物链——后者是 π0.5 三
engine(vit / llm / denoise),前者是通用 LLM/VLA(含 Alpamayo action expert)。
该搬¶
1. Thor 按 SM 数分 tile(不是 heuristic)¶
Talker MLP 不用 cublasGemmEx,走 CuTe DSL AOT:
kernelSrcs/build_cutedsl.py --gpu_arch sm_110 → libcutedsl_sm110.a。
Blackwell / Thor 路径是 UMMA(tcgen05.mma)+ TMA。Thor 要显式用 Blackwell
共享内存容量,DSL 不会可靠自动探测。
CuteDslGemmRunner 在 load 时读 multiProcessorCount:
| 档 | tile / cluster | 何时 |
|---|---|---|
| small | 64×128,(1,2) | M ≤ max(64, 4×SMs)。Thor ~20 SM → ≈80;B100 ~144 SM → ~512 |
| default | 128×128,(1,1) | 中间档 |
| 2-CTA | 256×256,(2,1) | 仅 SM≤32 打开;M≥256 且(M≥512 或 N≥2048)。高 SM 关掉 |
低 SM 上更大算术强度优于堆 CTA。公式与注释:
TensorRT-Edge-LLM/cpp/kernels/talkerMLPKernels/cuteDslGemmRunner.{h,cu}。
对本组:B2 CUTLASS 已吃到 SM100_MMA_F8F6F4,但写死「M≥128 → 2SM 256×128×64,
否则 1SM 128×256×128」。denoise M=50 本该走 small,却吃了偏肥的 1SM。
短坑:lessons/thor-sm-count-tile-dispatch.md。
FlashRT 独立得到同一原则,分发轴不同:Thor NVFP4 按 (N,K) + decoder 写死
v10(缩 N=64,MMA 不允许 tile_M 低于 128);Orin INT8 才是 M≤64 → 64×128。
对照代码:flashrt-opt-map.md「GEMM 分核」。
2. GeGLU / SiLU 是 Thor 主推融合点¶
同一套 GEMM 另编 bias+SiLU 变体(small / default / 2-CTA 各一份)。
NVFP4 MoE(cuteDslNvfp4MoeSm110)拆独立核:fc1_geglu_n128 /
fc1_swiglu_n128 / fc1_relu2,再接 FC2。权重在 export 前 interleave
gate+up(repacking.py _interleave_qwen3_swiglu_fc1)。
对本组:对应 plan.md 第二波 fused_mlp。mlc-vla 已有 flashrt.geglu
支线;缺的是「一次 GEMM + 出站激活 + 可选 quantize」。prefill 里
GeGLU+quantize 仍是独立核(B2 账约 17.6 ms)。
3. Attention 按阶段分核,RoPE 和写 KV 同核¶
| 阶段 | Edge 核 |
|---|---|
| Prefill | CuTe FMHA(SM100+)或 fmha_v2 cubin |
| Decode | XQA;head=512 走 FFPA 回落 |
| 位置 / KV | launchApplyRopeWriteKV 写入 Linear KV;FP8 KV 时 Q 在同路径落 FP8 |
对本组:第三波应对齐切法,接 FlashRT / 现有 attention extern,
不要移植 AttentionPlugin。denoise 里独立 RoPE / take 仍是缺口。
4. 量化数学与 kernel layout 解耦¶
ModelOpt PTQ 管 amax;export 时 repacking.py 管 MMA 排布。FP8Linear
仍 emit 标准 ONNX QDQ + MatMul,融合交给 TRT。Thor 旗舰是 NVFP4 W4A4 +
可选 FP8 KV,不是 per-tensor e4m3。Orin 才走 INT4 AWQ。
对本组:e4m3 静态权重是第二波正确第一步。第三波上 NVFP4 时,repack 是正确性前提,不是性能彩蛋。量化算法对照表见 Chameleon 调研 §4.2, 不要在本篇复制。
不该搬¶
| Edge 资产 | 为什么不进交付 |
|---|---|
整栈 ONNX + llm_build + C++ runtime |
交付已钉 TVM;换栈等于重立项 |
Linear KV + setContextMemory 多 engine 共享 workspace |
UniRT 已是单包多函数;VLA 三 engine 串行省显存是 TRT 对照栈 的题 |
| 自研 HF 替代图 | mlc-vla Relax 图已经承担「不 trace transformers」 |
| EAGLE / MTP | π0.5 是固定步 denoise,不是自回归 LLM |
| INT4 AWQ / Orin 路径 | 目标是 Thor SM110 tensor core |
Alpamayo VLA(visual / llm / action 三 ONNX,VLM 写 KV → action 读 + 单步 denoise ONNX ×10)和 π0.5 拆法同类,但只作对照,不当交付蓝图。
对本组优化轮次¶
| 波次 | 手段 | 从 Edge 带走 |
|---|---|---|
| 第二波 · 已测待 review | B2 CUTLASS SM100 e4m3 | AOT + sm_110a 吃 TCGEN05 对了;缺 Thor 20 SM 分档 |
| 第二波 · 未开工 | tile 调优 或 fused_mlp | 小 M 走 64×128;GeGLU 进 GEMM 出站。二选一,先验收墙钟 |
| 第三波 | NVFP4 + FlashRT attention | repack 是正确性;attn 学切法不抄 plugin |
先确认手段再编码,见 projects/pi05_optimize/plan.md §1.1。验收仍是同一
observation + 噪声下的 p50 与动作 cosine / L2,门禁见
playbooks/eval-compare.md。
FlashRT 对照(另一条外部路径):flashrt-opt-map.md。