#168 · 主分类： 推理与本地部署
bolt
android
arm
bolt
caffe
cnn
cv
deep-learning
high-performance
huawei
inference
ios
mali
mobile
nlp
noah
onnx
rnn
tensorflow
x86
Bolt是一个高性能且具有异构灵活性的深度学习库。
项目最后更新：04/11/25
GitHub Stars
957
Forks数量
162
贡献者数量
16
许可证
MIT
收录理由
面向把训练好的模型部署到手机、嵌入式板卡和低功耗Linux设备上的开发者，这类场景对速度和内存占用极为敏感。Bolt能接收Caffe、ONNX、TFLite和TensorFlow格式的模型，转成自己的表示后在ARM CPU、Mali与高通GPU以及支持AVX2/AVX512的x86 CPU上运行。精度方面覆盖FP32、FP16、INT8甚至1比特量化，允许你在推理精度与延迟、内存预算之间主动取舍，很适合资源受限的硬件环境。它由华为内部打造并用于NLP和常见视觉任务，仓库附带了覆盖多种ARM和x86目标的构建脚本。当你在评估某个模型能否在端侧跑出可接受的性能时，这个库能提供一个具体的验证途径，帮助你在确定部署方案之前先做实测。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。