#145 · 主分类: LLM应用框架
llm-chain
`llm-chain` 是一个强大的 Rust crate,用于构建大型语言模型中的链,允许你总结文本并完成复杂任务。
项目最后更新:10/31/24
GitHub Stars
1.6K
Forks数量
140
贡献者数量
41
许可证
MIT
收录理由
对于用 Rust 构建大模型服务的团队来说,这个库提供了一种结构化的方式来编排多步骤的提示词流水线,省去了手工拼接每次 API 调用的麻烦。你可以定义可复用的提示词模板,再把它们串联起来,让原本单个模型调用无法完成的任务被拆解成有序的步骤;它既支持 OpenAI 这类云服务商,也支持 LLaMa、Alpaca 等本地部署的模型。库中还集成了向量存储,方便做长期记忆,另外带有一个工具层,让智能体能在链路中执行 shell 命令、运行 Python 或搜索网页。这些能力组合起来,很适合做聊天机器人和文本摘要,也能在系统级语言里扩展出智能体式的应用。对于已经扎根 Rust 的团队,类型化的执行器和提示词宏用起来比在代码里包一层 Python 框架要顺手得多。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。
同类热门项目
langchain
智能体工程平台。
dify
在一个协作工作区中构建Agentic工作流、RAG管道,支持丰富的AI模型和工具。可部署在云、VPC或自托管环境,团队无需重建技术栈即可从原型走向生产。
headroom
压缩工具输出、日志、文件和RAG块,再送入LLM。编码代理减少20% token,JSON减少60-95% token,答案不变。提供库、代理、MCP服务器。
litellm
最快的、最轻量的AI网关。Rust核心,Python SDK。以OpenAI(或原生)格式调用100多种LLM API,具备成本追踪、护栏、负载均衡和日志记录 [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
llama_index
LlamaIndex 是领先的文档代理和 OCR 平台