#59 · 主分类: AI网关与API基础设施

ai-gateway

ai ai-gateway api-gateway cncf inference kubernetes llm

管理基于Envoy Gateway构建的生成式AI服务的统一访问

项目最后更新:08/29/26

GitHub Stars

2.0K

Forks数量

349

贡献者数量

135

许可证

Apache-2.0

收录理由

应用要调用多家托管的LLM API时,各家厂商的接入方式往往互不兼容,平台团队不得不为每个供应商单独写一套对接逻辑。Envoy AI Gateway 以 Envoy Gateway 为基础,为这类场景提供了统一的入口,把认证、路由和全局限流集中在一处处理,省去了手工逐家适配的麻烦。值得关注的是它的双层网关设计:第一层作为中央入口统一面向所有供应商,第二层则部署在自托管模型集群前面,负责端点选择以优化推理效率。对于在 Kubernetes 上管理基础设施的工程师来说,这种拆分意味着可以在一个控制点统管众多模型提供商的成本与访问权限。而且它出自 Envoy 项目,直接继承了社区已经信任的网关语义,并非另起炉灶的私有代理,上手和运维都更让人放心。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目