#4 · 主分类： LLM应用框架
litellm
ai-gateway
anthropic
azure-openai
bedrock
gateway
langchain
litellm
llm
llm-gateway
llmops
mcp-gateway
openai
openai-proxy
rust
rust-ai
vertex-ai
最快的、最轻量的AI网关。Rust核心，Python SDK。以OpenAI（或原生）格式调用100多种LLM API，具备成本追踪、护栏、负载均衡和日志记录 [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
项目最后更新：08/29/26
GitHub Stars
57.6K
Forks数量
11.0K
贡献者数量
1.7K
许可证
Other
收录理由
LiteLLM 把大模型调用统一收敛到 OpenAI 的 API 格式上，团队写一遍代码就能对接 Anthropic、Bedrock、Azure、Vertex、vLLM 以及一百多家服务商，省去反复改接线的麻烦。真正有价值的是它自托管的代理层：一个端点背后集成了虚拟 API 密钥、按团队统计开销、负载均衡、安全护栏和请求日志，运维和治理都变得集中。它还支持 MCP 协议，并内置了 A2A 智能体网关，在智能体密集的场景里能充当统一的中枢，而不只是薄薄的转发壳。如果你希望团队都基于同一个 OpenAI 兼容服务来开发，又想随时看清每个团队花了多少钱，这个项目是个很实在的起点。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。