#105 · 主分类: AI网关与API基础设施

BricksLLM

ai anthropic api artificial-intelligence azure docker generative-ai golang gpt llm open-source openai postgresql privacy rest-api security self-hosted vllm ycombinator

🔒 企业级API网关,帮助您监控并对每个API密钥实施成本或速率限制。获得按用户、应用程序或环境进行细粒度访问控制和监控。支持OpenAI、Azure OpenAI、Anthropic、vLLM和开源LLM。

项目最后更新:01/05/25

GitHub Stars

1.2K

Forks数量

97

贡献者数量

14

许可证

MIT

收录理由

LLM 功能上线后,常见的痛点是共享密钥:多个团队共用一个服务商账号,谁花了多少钱根本说不清。BricksLLM 通过在你的应用和 OpenAI、Azure OpenAI、Anthropic、vLLM 等供应商之间加一层网关来解决这个问题——它可以为每个 API 密钥设定独立的速率和费用上限,所以你能放心地把密钥发给内部开发者、学生或不同付费层级,并按照用户、组织或环境跟踪用量。它还处理了生产环境中那些不显眼但关键的环节:请求缓存、重试、供应商故障切换、模型级访问控制,以及对外发请求中的 PII 检测和脱敏。如果你已经自托管 Postgres 和 Redis,用 Docker 部署很简单;随着用量增长,内置的分析面板和 Datadog 集成也能让成本始终保持可见。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目