onnx-tensorrt

收录理由

在 NVIDIA GPU 上跑 ONNX 模型的团队，如果对延迟敏感，会用到这个解析器。它把 ONNX 计算图编译成 TensorRT 引擎，让原本在 PyTorch 等框架里训练和验证好的模型，直接跑在 TensorRT 的优化内核上，而不是走通用解释器。它提供 C++ 库、Python 后端和可执行程序三种形态，你可以按自己习惯的层次把它嵌进推理服务流程。动态形状和全维度图都支持，输入批次或分辨率在运行时变化时比较省心。但要注意，它本质是编译器，不是拿来即用的运行时：引擎要提前构建好，之后再去执行，而且并非每个 ONNX 算子都有原生对应，算子支持矩阵里列得很清楚，动手前先查一下。