TensorRT

收录理由

Torch-TensorRT 能把 PyTorch 模型直接编译成 TensorRT 引擎，省去手工改写模型的功夫，在 NVIDIA GPU 上跑得更快。把它挂到 torch.compile 后端，一行代码就能拿到大部分加速收益，推理延迟相比 eager 模式最高能降低 5 倍；走导出流程还可以把优化后的模块序列化，之后在 C++/libtorch 的生产环境里加载使用。无论是视觉模型、扩散流程还是大语言模型推理，数据中心或 Jetson 设备上都能用，Linux、Windows（仅 Dynamo）以及通过源码编译的 Jetson 都有支持。工具链本身涵盖 FP8 量化与预编译，PyTorch 和 NVIDIA 团队持续维护，版本跟进也及时，不会落后于主流框架。