#146 · 主分类： 深度学习框架
KuiperInfer
caffe
convolution
deep-learning
deep-neural-networks
diy
graph-algorithms
inference
inference-engine
maxpooling
ncnn
pnnx
pytorch
relu
resnet
sigmoid
yolo
yolov5
校招、秋招、春招、实习好项目！带你从零实现一个高性能的深度学习推理库，支持大模型 llama2 、Unet、Yolov5、Resnet等模型的推理。
项目最后更新：06/22/25
GitHub Stars
3.5K
Forks数量
372
贡献者数量
25
许可证
MIT
收录理由
KuiperInfer 是一个从零手写的 C++ 推理引擎，适合那些不满足于调用现成框架、想弄清深度学习框架内部运作的人。项目按步骤拆解各个模块：张量设计、计算图、卷积池化全连接等算子，最后把它们串起来，实际跑通 ResNet、YOLOv5、Unet 以及 Llama 系列模型。同时提供 CPU 和 CUDA 两套算子后端，并对大模型做了 Int8 量化，能直观看到推理在边缘设备和 GPU 服务器上如何被优化。它还附带视频课程和单元测试，结构清晰，对准备后端或推理工程面试的学生，以及好奇模型导出后到预测之间发生了什么的人来说，都是很好的学习材料。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。