TensorRT

收录理由

生产环境里要把训练好的模型在 NVIDIA GPU 上跑得又快又稳，TensorRT 几乎是团队的首选。它的职责很纯粹：把模型编译成优化过的引擎，剩下的交给 GPU。如果你要自己部署硬件或容器，这个开源仓库就很有用——里面包含了插件、ONNX 解析器和示例应用，能帮你构建并测试自定义引擎，而不必依赖闭源发行版。模型可以从 ONNX、Torch-TensorRT、HuggingFace/Optimum 或网络定义 API 导入，支持的范围覆盖了大语言模型、视觉、音频、扩散模型和多模态任务。当延迟要求苛刻、而你又能掌控推理服务栈的时候，它是个很认真的选择。