#213 · 主分类： 推理与本地部署
minigpt4.cpp
c
cpp
deep-learning
ggml
machine-learning
minigpt4
multimodal
quantization
MiniGPT4的C++移植版（支持4bit、5bit、6bit、8bit、16bit CPU推理，使用GGML）
项目最后更新：08/08/23
GitHub Stars
573
Forks数量
28
贡献者数量
4
许可证
MIT
收录理由
MiniGPT-4 原本依赖 GPU 才能运行，而这个 C++ 移植版本让推理可以在普通 CPU 上完成。它基于 ggml 库，能够加载量化后的 7B 或 13B 模型权重，在没有独立加速器的情况下回答关于图像的问题。预量化权重托管在 Hugging Face 上，同时提供了转换脚本，如果你需要特定的位宽，也可以自行将 PyTorch 检查点量化。项目还附带一个轻量的 Gradio 网页界面，方便交互使用；库本身可以编译为 Windows、Linux 和 macOS 上的共享对象。这个移植版属于研究阶段的产物，最后更新于 2023 年，更适合作为本地多模态推理的参考实现，而不是一个持续维护的生产级工具。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。