TopOpenSourceAI
EN

#711 · 主分类： 教育与研究

Llama-2-Open-Source-LLM-CPU-Inference

c-transformers chatgpt cpu cpu-inference deep-learning document-qa faiss langchain language-models large-language-models llama llama-2 llm machine-learning natural-language-processing nlp open-source-llm python sentence-transformers transformers

在本地CPU上运行Llama 2及其他开源LLM进行推理，用于文档问答

项目最后更新：11/06/23

在 GitHub 查看

GitHub Stars

971

Forks数量

206

贡献者数量

4

许可证

MIT

收录理由

当团队因为GPU成本过高或数据合规要求而需要自建文档问答时，这个项目给出了一个能在纯CPU环境跑通的可行方案。它把量化后的Llama 2聊天模型交给C Transformers和GGML处理，用Sentence-Transformers把文档向量化后存入FAISS索引，再借LangChain把检索与生成串联起来，让你直接用自己的文件问自然语言问题。代码体量不大，且按职责拆分成多个文件，很适合作为评估CPU推理是否够用的参考。README里附带的逐步教程把每个环节讲得清楚，对刚接触检索增强生成的人来说，也是一份不错的学习材料。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。

同类热门项目

prompts.chat

前身为 Awesome ChatGPT Prompts。分享、发现和收集社区提示词。免费且开源——可自托管，为您的组织提供完全隐私。

#1

JavaGuide

Java 面试 & 后端通用面试指南，覆盖计算机基础、数据库、分布式、高并发、系统设计与 AI 应用开发

#2

system-prompts-and-models-of-ai-tools

精选流行AI助手和编码代理的系统提示、内部工具和AI模型集合。

#3

30-seconds-of-code

编程文章，助你提升开发技能

#4

generative-ai-for-beginners

21节课，开始使用生成式AI构建

#5