tensorrt-cpp-api

收录理由

直接用TensorRT写推理代码，往往要自己处理大量nvinfer1的样板逻辑，还得盯着缓冲区、流和错误状态。这个库把这些收进一个轻量的无异常C++接口里：丢给它一个ONNX模型，它要么构建出优化过的引擎，要么从缓存里加载现成的；张量在边界处按名字索引，CUDA流仍由调用方掌控。生产环境里最出彩的是它的缓存机制——按模型内容、构建选项、TensorRT版本和GPU UUID做键，一旦模型或环境变了，旧引擎会被自动重建，而不是悄悄跑着过时的权重。动态形状、FP16/INT8/FP8精度，以及通过执行上下文池做并发推理都是内置能力；可选的零拷贝Python绑定还能直接传CuPy或PyTorch的GPU数组，省掉主机往返。如果你在NVIDIA GPU上用C++部署视觉模型，这套东西能帮你省下不少重复造轮子的功夫。