rosidl_buffer_backends:加速器零拷贝消息后端
给 rosidl::Buffer 换存储位置。同机发布者和订阅者直接共享 GPU 或高通 NPU 能读的内存;条件不够时自动退回普通 CPU 序列化。
仓库 ros2/rosidl_buffer_backends · Apache-2.0 · 面向 ROS 2 Rolling / Lyrical
1. 它解决什么
uint8[] 背后的内存:从「拷进主机再经 DDS 传整帧」变成「DDS 只传一个描述符,字节留在加速器内存里」。
默认 ROS 2 里,图像和张量走 DDS 序列化。发布端把 payload 拷到主机内存,订阅端再拷回来。相机、预处理、推理、控制如果都是独立进程,一帧数据会在主机内存和加速器之间来回搬。
rosidl_buffer_backends
是 rosidl::BufferBackend 的厂商插件,用 pluginlib 注册。字段仍然是消息里的字节数组,调用方按原来的方式 publish / 订阅。插件决定这块 buffer 在哪里分配、怎么跨进程交出去。
2. 在机器人流水线里的位置
采集、训练、部署、在线学习这条 pipeline 里,它落在推理部署这一段的进程间数据通路:相机或预处理节点把图像 / 张量放进加速器内存,推理节点(CUDA kernel 或高通 HTP)直接消费,中间不再把整帧拷回主机再经 DDS 传一遍。
flowchart LR
Cam["相机 / 预处理"] --> Buf["rosidl::Buffer"]
Buf -->|"backend = cuda 或 qc"| Desc["小描述符经 DDS"]
Buf -->|"同机满足条件"| Acc["GPU 或 HTP 直接读同一块内存"]
Desc --> Sub["推理 / 控制节点"]
Acc --> Sub
Buf -->|"跨机、跨卡、库不可用"| CPU["to_cpu 序列化"]
CPU --> Sub
3. 仓库里的几块
| 包 | 作用 |
|---|---|
cuda_buffer + cuda_buffer_backend |
NVIDIA:CUDA VMM 内存池,Unix socket 用 SCM_RIGHTS 传 fd,同机同卡同用户零拷贝 |
qc_buffer + qc_buffer_backend |
高通:ION / dma-buf。CPU 和 HTP(NPU)读同一组物理页。编译期不依赖高通 SDK,运行时 dlopen("libcdsprpc.so") |
*_backend_msgs |
线上真正发出去的描述符:CudaBufferDescriptor、QcBufferDescriptor |
tensor_msgs |
实验消息 ExperimentalTensor,字段对齐 DLPack:dtype、shape、strides、byte_offset、data |
torch_conversions |
头文件库,在 ExperimentalTensor 和 at::Tensor 之间转换,并可导出 DLPack |
libtorch_vendor |
下载并安装预编译 LibTorch C++,给上面的转换库用 |
4. CUDA 路径
发布端用 allocate_buffer 从 VMM 池拿一块显存,from_output_buffer 得到可写指针,kernel 写完再发布。订阅端 from_input_buffer 得到只读指针;句柄构造时会等发布端记下的 CUDA write event,避免读到还没写完的数据。
跨进程时,DDS 只带 (pid, block_id, socket, uid, event)。订阅端第一次连发布端的 Unix socket,用 SCM_RIGHTS 拿到 shareable fd,再 cuMemImportFromShareableHandle 映射进本进程。同一对 (pid, block_id) 之后走导入缓存,不再传 fd。共享内存里的引用计数保证所有订阅端都释放之后,池子才回收这块。晚到的订阅者如果撞上已经复用的块,会用描述符里的 uid 和共享内存里的 uid 对不上来丢弃过期数据。
flowchart TB
Discover["发现对端"] --> A{"对端支持 cuda?"}
A -->|否| Fallback["CPU fallback"]
A -->|是| B{"本机 VMM IPC 可用?"}
B -->|否| Fallback
B -->|是| C{"同进程,或同机同卡同用户?"}
C -->|是| Use["CUDA VMM 零拷贝"]
C -->|否| Fallback
池、fd 分发、主机端点登记是三个运行时单例:CudaMemoryPool、CudaVmmIPCManager、HostEndpointManager(登记在 /dev/shm,用来判断对端是不是同机、同设备、同一用户)。
5. 高通路径
内存用 rpcmem_alloc 放在 ION / dma-buf 上。这块内存 CPU 可以直接读写,dma-buf fd 可以交给 HTP,两边看的是同一组物理页。这就是 HTP–CPU 零拷贝。
发布端 allocate_buffer 之后用 get_data_ptr 写,不需要 CUDA 那种 stream / handle。订阅端如果 get_backend_type() == "qc",用同一指针读,或用 get_dmabuf_fd 把 fd 交给 NPU。跨进程同样靠发布进程里的 FdBroker:dup 保住 fd,订阅端连 Unix socket,SCM_RIGHTS 收一份 fd,再 mmap。没有 libcdsprpc.so、或跨设备时,描述符还原失败,RMW 退回 CPU 序列化。
6. 张量层
ExperimentalTensor 只带张量元数据。字节仍在 data 这个 rosidl::Buffer<uint8_t> 里,所以它自动跟着当前注册的后端走:有 CUDA 就在显存,否则在 CPU。torch_conversions 提供 allocate_tensor_msg、from_output_tensor_msg、from_input_tensor_msg、to_tensor_msg,把这条消息和 PyTorch tensor 互转。消息名带 Experimental,schema 还没稳定,用来验证 buffer backend 的设计。
字段按
DLPack
的 DLDataType / DLTensor 排:dtype_code、dtype_bits、dtype_lanes、shape、strides(空表示连续)、byte_offset、data。设备信息从 data 的后端推导,不单独写在消息里。
7. 什么时候走零拷贝
| 后端 | 零拷贝条件 | 否则 |
|---|---|---|
| cuda | 同机、同一块 GPU、同一个 Linux 用户,且对端声明支持 cuda |
to_cpu(),按普通字节数组走 DDS |
| qc | 同一台设备上能 dlopen 到 libcdsprpc.so,订阅端接受 qc 后端 |
同样退回 CPU。开发机上没有这块库也能编过、跑通 |
rosidl::Buffer,只是多了一次拷贝。