AI-Gateway

收录理由

在生产环境里搭起一个 Azure 上的 AI 网关，难点往往不在模型本身，而在各种接入细节是否理顺。这个仓库不空谈架构，直接给出可落地的工程样例：三十多个 Jupyter notebook，每个都配好了 Bicep 基础设施模板和 APIM 策略，能直接部署到自己的订阅里。实验覆盖了模型流量增长后容易卡壳的部分——后端负载均衡、令牌级限流、语义缓存、模型路由，以及如何把成本框在预算内。工具链方面，MCP 服务器已经和 OAuth、OpenAI 风格函数调用接通，也演示了 agent 编排框架和 A2A 智能体如何经网关统一转发。如果你日常就在 Azure API Management 和 Microsoft Foundry 上干活，这里能直接抄的配置很多，安全防护和流量观测的套路拿来改改就能用，省去从零推导的功夫。