GitHub Stars
1.1K
Forks数量
166
贡献者数量
61
许可证
MIT
收录理由
对想在自家应用里直接调用本地大模型的 Rust 开发者来说，ollama-rs 把 Ollama 的 API 封装成了类型安全的函数，流式补全、对话、模型管理、嵌入和工具调用都能在程序进程内完成。这个库体积不大，适合作为嵌入层，把本地模型接进更大的项目，而不是另起一个独立服务。官方示例用不到五十行代码就做出了一个能跑的聊天机器人，省去自己维护与 Ollama 端点通信的 HTTP 粘合代码。它本身不负责跑模型，只是让你的 Rust 代码连上已经运行的 Ollama 实例。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
langchain
智能体工程平台。
dify
在一个协作工作区中构建Agentic工作流、RAG管道，支持丰富的AI模型和工具。可部署在云、VPC或自托管环境，团队无需重建技术栈即可从原型走向生产。
headroom
压缩工具输出、日志、文件和RAG块，再送入LLM。编码代理减少20% token，JSON减少60-95% token，答案不变。提供库、代理、MCP服务器。
litellm
最快的、最轻量的AI网关。Rust核心，Python SDK。以OpenAI（或原生）格式调用100多种LLM API，具备成本追踪、护栏、负载均衡和日志记录 [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
llama_index
LlamaIndex 是领先的文档代理和 OCR 平台