#32 · 主分类: AI网关与API基础设施

gpt-load

anthropic claude gemini gin go golang openai

智能密钥轮询的多渠道 AI 代理。

项目最后更新:08/29/26

GitHub Stars

6.3K

Forks数量

673

贡献者数量

16

许可证

MIT

收录理由

GPT-Load 是一个用 Go 写成的透明代理,专门服务那些同时对接多家 AI 服务的应用。它把请求转发给 OpenAI、Gemini 或 Claude 时,保持各家原生格式不变,因此你现有的客户端代码无需改动,所有流量都能汇聚到一个稳定的入口。在这个入口背后,密钥池会自动轮换凭证,把开始报错的密钥拉黑,等它们恢复后又重新启用,这样单把密钥过载导致的请求中途被限流,就基本不会发生了。加权负载均衡会把调用分散到不同的上游,主从模式还能支持横向扩展,扛住高并发的生产流量。Vue 管理面板实时展示统计、健康状态和请求日志,并且你可以热加载分组配置,不必重启服务就能调整。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目