mistral.rs

收录理由

mistral.rs 是一个用 Rust 写成的推理引擎，目标是在你自己的硬件上跑大模型，省去按 token 付费的托管 API 开销。它用一个二进制就覆盖了多种用法：既能在 Python 或 Rust 进程内直接推理，也能启动终端聊天，还提供兼容 OpenAI 和 Anthropic 的 HTTP 端点。你可以在本地会话里快速试验，之后把同一个模型作为供应商 API 的即插即用替代品部署，客户端代码都不用改。引擎内部实现了分页注意力、前缀缓存和量化压缩显存占用，还带一个智能体运行时，支持工具钩子和本地 Python 代码执行。对那些在构建本地优先应用，或者想对比不同服务方案的团队来说，这个项目很实用，而且它仍在积极迭代中。