mace

收录理由

对于需要把神经网络直接跑在手机或平板上的移动端团队来说，这个框架值得认真考虑。MACE 面向 Android、iOS、Linux 和 Windows 设备，凡是要求模型在终端本地执行的场景，它都能派上用场。CPU 侧用 NEON 指令集加速，GPU 侧走 OpenCL，还支持高通 Hexagon DSP，并且引入 Winograd 算法来加快卷积运算。功耗和流畅度也做了专门优化：通过 big.LITTLE 调度和 Adreno GPU 提示来降低能耗，OpenCL 内核可被拆成更小的可抢占单元，保证推理进行时界面依然跟手。模型安全方面，它能把模型转成 C++ 代码并做字面量混淆，增加逆向难度。另外，它直接支持 TensorFlow、Caffe 和 ONNX 格式，所以把现成训练好的模型搬到资源受限的终端设备上，路径相当直接。