mmdeploy

收录理由

如果你在OpenMMLab生态里训练或微调模型，又需要让它们跑在台式GPU以外的设备上，这个项目就是连接PyTorch权重和真实硬件之间的那座桥。它能把OpenMMLab模型转换到多种推理格式和运行时：TensorRT和ONNX Runtime面向服务器，OpenVINO跑CPU，ncnn服务移动端和边缘设备，还有CANN、RKNN、SNPE对接特定加速器，同一个模型可以适配差别很大的硬件平台。除了转换，它还附带一套模块化的C/C++ SDK，用于搭建推理应用，预处理、网络执行、后处理各个阶段都能灵活插拔。对于要把检测、分割、姿态估计模型推向生产的团队来说，这套组合值得了解，因为实际决策往往不是哪个框架训练的模型，而是目标设备上哪个后端能跑得够快。