MNN

收录理由

MNN 是阿里巴巴开源的一款 C++ 推理引擎，专为那些需要把训练好的模型快速跑在手机、嵌入式板卡等算力有限、无法依赖云端往返的设备上的团队而设计。它负责模型转换，并在 CPU、GPU 以及厂商专用加速器上执行推理，近期还新增了对高通 Hexagon DSP 的支持，而且已经在阿里自家的生产应用中经受过实战检验。这个项目早已不局限于传统的视觉模型，如今也能承载 Qwen 系列等端侧大语言模型的工作负载，并附带示例应用，让离线聊天和 3D 头像演示完全在设备本地运行。如果你的目标是向边缘设备交付低延迟、离线的推理能力，而不是训练模型，MNN 是一个值得在其上构建的运行时。