apisix

收录理由

对于已经在运行API网关、现在又需要接入大模型流量的团队，APISIX是一个很顺手的延伸方案，不必再单独搭一套新设施。它把OpenAI、Anthropic、AWS Bedrock、DeepSeek、Ollama等多家模型服务统一放在一个入口后面，对外暴露一个端点就能调用多种模型，同时内置负载均衡、自动切换到备用供应商的能力，以及按token计费的限流机制，方便按消费者控制用量和成本。AI能力之外，它本身也是一款完整的云原生网关，动态路由、插件热加载、认证和可观测性都齐备，南北向API流量和东西向服务调用可以在同一套部署里处理。配合Kubernetes ingress控制器，以及对gRPC、WebSocket、MQTT的支持，在微服务密集的技术栈里相当实用。这样一来，普通API和大模型工作负载共用一套控制面，运维上省去不少重复工作。