#111 · 主分类： LLM应用框架
rust-genai
Rust 多提供商生成式 AI 客户端（Ollama、OpenAi、Anthropic、Gemini、DeepSeek、xAI/Grok、Groq、Cohere 等）
项目最后更新：08/29/26
GitHub Stars
867
Forks数量
179
贡献者数量
64
许可证
Apache-2.0
收录理由
对于希望用一套代码对接多家大模型服务、又不想逐个接入各家官方SDK的Rust开发者来说，这个库很实用。它直接支持Anthropic、OpenAI、Gemini以及本地部署的Ollama，模型名可以通过命名空间来指定，比如写成qwen_cloud::qwen3.8-max，切换供应商时只改字符串就行，不用重写调用逻辑。它还能通过环境变量或自定义目标解析器接入任何兼容OpenAI接口的服务，特别适合自己托管模型、跑在兼容服务后面的团队。请求走的是各家原生协议，没有中间翻译层，所以既能保留供应商特有的行为，代码库里又能保持单一接口。对于想在多个模型之间统一管理LLM调用的小团队，这是个很实际的选择。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
langchain
智能体工程平台。
dify
在一个协作工作区中构建Agentic工作流、RAG管道，支持丰富的AI模型和工具。可部署在云、VPC或自托管环境，团队无需重建技术栈即可从原型走向生产。
headroom
压缩工具输出、日志、文件和RAG块，再送入LLM。编码代理减少20% token，JSON减少60-95% token，答案不变。提供库、代理、MCP服务器。
litellm
最快的、最轻量的AI网关。Rust核心，Python SDK。以OpenAI（或原生）格式调用100多种LLM API，具备成本追踪、护栏、负载均衡和日志记录 [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
llama_index
LlamaIndex 是领先的文档代理和 OCR 平台