#41 · 主分类: LLM应用框架
rig
⚙️🦀 使用Rust构建模块化和可扩展的LLM应用
项目最后更新:08/30/26
GitHub Stars
8.4K
Forks数量
942
贡献者数量
230
许可证
MIT
收录理由
Rig 是一个用 Rust 构建 LLM 应用的库,适合那些希望留在 Rust 生态、不想把零散 crate 拼在一起的团队。它把二十多个模型提供商和多种向量存储统一到一个 API 后面,省去自己写集成代码的麻烦。核心亮点是 agent 运行时,支持多轮流式响应、提示词和工具调用,而且通过 feature flags 可以只启用需要的部分。项目还遵循 OpenTelemetry 的 GenAI 规范,如果你已经在监控服务,想统一 LLM 遥测数据,这会很方便。这个项目迭代很快,维护者明确提醒会有破坏性变更,所以更适合能接受依赖持续演进的团队,而不是需要稳定冻结 API 的场景。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。
同类热门项目
langchain
智能体工程平台。
dify
在一个协作工作区中构建Agentic工作流、RAG管道,支持丰富的AI模型和工具。可部署在云、VPC或自托管环境,团队无需重建技术栈即可从原型走向生产。
headroom
压缩工具输出、日志、文件和RAG块,再送入LLM。编码代理减少20% token,JSON减少60-95% token,答案不变。提供库、代理、MCP服务器。
litellm
最快的、最轻量的AI网关。Rust核心,Python SDK。以OpenAI(或原生)格式调用100多种LLM API,具备成本追踪、护栏、负载均衡和日志记录 [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
llama_index
LlamaIndex 是领先的文档代理和 OCR 平台