nndeploy

收录理由

nndeploy位于训练好的模型与运行硬件之间，承担部署层的职责。它把ONNXRuntime、TensorRT、OpenVINO、MNN、CoreML、AscendCL等13个推理后端收拢到同一套C++/Python接口之后，开发者只需定义一次工作流，就能在Windows、macOS、Android、iOS、Jetson和Ascend等设备上运行，无需针对每种平台重写代码。最亮眼的是可视化编辑器：通过拖拽组合预处理节点和模型节点，配合实时预览调整参数，最后导出为JSON图，交给Python或C++在生产环境中加载执行。流水线级与任务级并行同时发力，零拷贝、内存池这类技巧也有效压低了延迟；内置节点库已经覆盖大语言模型、Stable Diffusion、目标检测、OCR和图像分割，搭一个可运行的边缘端演示耗时明显缩短。对于10B以上参数的生成式模型，比如大语言模型或AIGC生成模型，nndeploy本身也可以当作一个可视化工作流工具来用。