Tengine

收录理由

如果要在资源受限的硬件上跑神经网络，而不是依赖云端数据中心，Tengine 是个值得认真考虑的选择。它以 C 语言实现，专为嵌入式设备和 AIoT 场景设计，在内存和功耗都捉襟见肘的环境里，完整框架往往跑不动，Tengine 却能把模型高效地部署起来。前后端分离的架构让同一套算子图能在不同芯片上复用——ARM CPU、Mali 和 NVIDIA GPU、VeriSilicon 与 NVDLA 这类 NPU，乃至 RISC-V 核心，都不用为每种芯片重写模型逻辑。它自带的转换工具支持 ONNX、Caffe、MXNet、Darknet、TensorFlow 和 PaddlePaddle 模型，内置的 uint8/int8 量化功能以及 ACIQ、DFQ、EasyQuant 等辅助工具，能有效把模型压到适合小芯片的尺寸。做分类、检测或分割的团队，在 A311D、i.MX 8M Plus、Jetson 和 ZCU102 这些板卡上都能找到对应示例，并且附有实测的推理延迟数据，上手路径很清晰。