#121 · 主分类： AI网关与API基础设施
lollms_hub
多ollama实例的代理服务器，带密钥安全
项目最后更新：04/23/26
GitHub Stars
645
Forks数量
101
贡献者数量
13
许可证
Apache-2.0
收录理由
当你在多台机器上跑本地推理引擎时，最头疼的往往不是模型本身，而是API不统一、权限难管、GPU被谁占了也说不清。LoLLMs Hub把Ollama、vLLM、llama.cpp以及兼容OpenAI的云端服务收拢到一个入口，同时支持Ollama和OpenAI两套协议，已有的应用几乎不用改就能继续用。它还顺手解决了多人共用机器时的麻烦事：API密钥校验、按用户统计用量、限流、HTTPS终结都内置好了。真正有意思的是它的路由层，你可以定义虚拟模型，按优先级、负载最轻或者图片检测这类规则把请求分给合适的后端，比如让纯文本模型悄悄把视觉请求转给VLM。要是你手头有几台机器，主从链式部署能让只有主节点暴露在公网，工作节点留在内网，安全性和管理都省心不少。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
OmniRoute
开源AI网关：一个端点，290+提供商（90+免费），500+模型，自动回退，令牌压缩，MCP/A2A，兼容Claude Code、Codex、Cursor、Cline、Copilot。
CLIProxyAPI
将 Antigravity、ChatGPT Codex、Claude Code、Grok Build 封装为兼容 OpenAI/Gemini/Claude/Codex 的 API 服务，让您通过 API 免费使用 Gemini 3.1 Pro、GPT 5.6 系列、Grok 4.5、Claude 模型。
kong
🦍 API 和 AI 网关
novu
面向代理和产品的开源通信基础设施
GPT_API_free
免费大模型API，支持免费调用GPT、DeepSeek等主流模型，免费额度10000点，每日刷新！另付费价格最低官方1-2折！