#7 · 主分类： LLM应用框架
private-gpt
用于本地模型上私有AI应用的完整API层：RAG、技能、工具、MCP、文本转SQL等。兼容任何OpenAI兼容的推理服务器。
项目最后更新：08/28/26
GitHub Stars
57.5K
Forks数量
7.6K
贡献者数量
105
许可证
Apache-2.0
收录理由
团队若想在不依赖云端 API 的前提下落地私有 AI，往往每个项目都要重复搭建后端基础设施。PrivateGPT 正是为了省掉这一步而设计。它本身不运行模型，而是作为 API 层，将你的应用连接到任何兼容 OpenAI 的推理服务器，并提供更上层的构建模块：带引用的检索、自定义工具、MCP 连接器，以及结构化的数据库和 CSV 访问。由于 API 遵循 Claude API 模型，你可以在熟悉的接口下对接自己的模型后端，任何支持 OpenAI 兼容端点的服务都能接入。内置的工作台 UI 适合演示和快速本地测试，但 API 才是真正的产品。它同时支撑着 Zylon 这一企业级本地部署 AI 平台，可见其能力不止于演示阶段。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
langchain
智能体工程平台。
dify
在一个协作工作区中构建Agentic工作流、RAG管道，支持丰富的AI模型和工具。可部署在云、VPC或自托管环境，团队无需重建技术栈即可从原型走向生产。
headroom
压缩工具输出、日志、文件和RAG块，再送入LLM。编码代理减少20% token，JSON减少60-95% token，答案不变。提供库、代理、MCP服务器。
litellm
最快的、最轻量的AI网关。Rust核心，Python SDK。以OpenAI（或原生）格式调用100多种LLM API，具备成本追踪、护栏、负载均衡和日志记录 [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
llama_index
LlamaIndex 是领先的文档代理和 OCR 平台