Jetson Thor(sm_110)车端路径 mlc-vla → UniRT → ApexInfer。正式包 …_e_fa4r_n2sx_n4ks_se128 + libtvm_fp8_gemm_n3fc2.so + libsynapsex_fp4.so(down V11)。
3 视角 224²、prefix 896、suffix 50、10 步 denoise。点击流程中的算子看张量契约、FLOPs、理论与 ncu 实测流量、命中的量化 / 融合手段。
各精度 GFLOP 是 MAC 次数(2·M·N·K),不能直接相加当算力——NVFP4 / FP8 / FP16 的实测峰不同。
可加总的量是算力下限 Σ GFLOPp/Peakp,或折成等效 NVFP4 GFLOP = 算力下限 × PeakNVFP4。
访存理论 = 输入(权重+激活+KV)+ 写出 × 发数;ncu DRAM 读 = lts__d_sectors_fill_sysmem×32B。分母用实测峰(见下表);π0.5 是稠密 GEMM,不要拿 Sparse 2070。
宿主机 nvpmodel = MAXN,锁频 gpc 1575 / nvd 1692 MHz。实测:2026-11-03 cuBLASLt 方阵随机数据 4096³(notes/_thor_roof_20261103)。官方:datasheet MAXN。
节点右侧数字是每帧核时间(nsys 锁频 1575 / 1692 MHz),小字是每发 µs。标签为挂在该算子上的优化项编号:量化 融合 核 编译 host。
所有字节与 FLOPs 已乘每帧发数。点击表头排序。
只列现网 0054 图上仍生效、或其后继仍在的手段;拒案(0025、Stream-K、F2b 等)不列。“作用算子”由流程图反查。