#94 · 主分类： LLM应用框架
kalosm
用Rust实现的即时、可控、本地预训练AI模型
项目最后更新：08/22/26
GitHub Stars
2.2K
Forks数量
133
贡献者数量
19
许可证
Apache-2.0
收录理由
Kalosm 是一个 Rust crate 生态，把预训练的语言、音频和图像模型统一放进同一个异步接口里。开发者只需引入一个依赖，就能驱动 Llama 对话、Whisper 转写或语义搜索，不必再为每个模型单独对接 SDK。默认在用户本机运行模型，推理过程不依赖云端，隐私有保障，离线也能用。它最亮眼的地方是结构化生成：从 Rust 类型派生类型化解析器，模型会被约束着输出符合你 schema 的 JSON、HTML 或 XML，而不是随意生成文本。自带的 Fusor 运行时基于 WGPU，支持量化推理，既能跑在本机 GPU 上，也能跑在浏览器里。对已经写 Rust 的人来说，模型能力是以普通库调用的形式出现的，不需要额外维护一个独立服务。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
langchain
智能体工程平台。
dify
在一个协作工作区中构建Agentic工作流、RAG管道，支持丰富的AI模型和工具。可部署在云、VPC或自托管环境，团队无需重建技术栈即可从原型走向生产。
headroom
压缩工具输出、日志、文件和RAG块，再送入LLM。编码代理减少20% token，JSON减少60-95% token，答案不变。提供库、代理、MCP服务器。
litellm
最快的、最轻量的AI网关。Rust核心，Python SDK。以OpenAI（或原生）格式调用100多种LLM API，具备成本追踪、护栏、负载均衡和日志记录 [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
llama_index
LlamaIndex 是领先的文档代理和 OCR 平台