#34 · 主分类： AI网关与API基础设施
semantic-router
一个可编程的混合模型路由器，用于异构LLM推理
项目最后更新：08/29/26
GitHub Stars
5.4K
Forks数量
854
贡献者数量
169
许可证
Apache-2.0
收录理由
当你的推理栈里同时存在多个大模型供应商时，请求该走哪条模型路径，往往直接决定了最终的质量、成本和延迟表现。这个项目把这种路由决策做成了一个可编程的中间层：它读取请求信号、用户偏好和应用策略，再为每条请求挑选或组合合适的模型路径，省去了在应用代码里硬编码模型选择的麻烦。部署在异构推理基础设施前面，一条策略就能让私有数据留在本地，同时把常规流量导向更便宜的云端模型，或者把涉及安全的提示词交给专门的防护模型。它提供兼容 OpenAI 的接口，也支持以 Envoy 的 ExtProc 过滤器或本地服务的方式快速接入，现有客户端几乎不用改动就能继续工作。如果你希望整个栈的模型选择是可重复、由策略驱动的，这个项目是一个值得直接上手尝试的落点。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
OmniRoute
开源AI网关：一个端点，290+提供商（90+免费），500+模型，自动回退，令牌压缩，MCP/A2A，兼容Claude Code、Codex、Cursor、Cline、Copilot。
CLIProxyAPI
将 Antigravity、ChatGPT Codex、Claude Code、Grok Build 封装为兼容 OpenAI/Gemini/Claude/Codex 的 API 服务，让您通过 API 免费使用 Gemini 3.1 Pro、GPT 5.6 系列、Grok 4.5、Claude 模型。
kong
🦍 API 和 AI 网关
novu
面向代理和产品的开源通信基础设施
GPT_API_free
免费大模型API，支持免费调用GPT、DeepSeek等主流模型，免费额度10000点，每日刷新！另付费价格最低官方1-2折！