推理与本地部署 · 开源 AI 场景榜单

排名	项目	Stars	Forks	更新	许可证
81	tract 小巧、务实、自包含的 Tensorflow 和 ONNX 推理	3.0K	281	08/29/26	Other
82	production-stack vLLM 的参考系统，用于 K8S 原生集群级部署，并带有社区驱动的性能优化	2.5K	476	08/29/26	Apache-2.0
83	mesh-llm 面向大众的分布式AI/LLM。私下或公开共享计算资源，为你的智能体和聊天提供动力。	3.3K	402	08/30/26	Apache-2.0
84	spiceai 为您的运营数据库添加实时分析节点。Spice是一个用Rust编写的可移植、加速的SQL查询、搜索和LLM推理引擎，用于数据驱动的AI应用和代理。	3.1K	224	08/30/26	Apache-2.0
85	optillm 用于大语言模型的推理优化代理	4.3K	385	07/18/26	Apache-2.0
86	harbor 停止配置你的AI技术栈，开始使用它。一条命令即可带来完整预连线的LLM技术栈，探索数百种服务。	3.2K	224	08/29/26	Apache-2.0
87	chitu 用于大型语言模型的高性能推理框架，专注于效率、灵活性和可用性。	3.0K	256	08/28/26	Apache-2.0
88	inference 将任何计算机或边缘设备变成计算机视觉项目的指挥中心。	2.4K	311	08/28/26	Other
89	claude-code-local 通过MLX原生的Anthropic-API服务器，在Apple Silicon上完全本地运行Claude Code，提供私有、离线、断网可用的推理。	3.2K	620	08/22/26	MIT
90	algernon 小巧自包含的纯Go Web服务器，支持Lua、Teal、Markdown、HTTP/2、QUIC、Redis、TypeScript、无npm的React 19、SQLite和PostgreSQL等++	3.0K	151	08/27/26	BSD-3-Clause
91	opyrator 🪄 将你的机器学习代码转化为带有 Web API、交互式图形界面等的微服务。	3.1K	167	08/25/26	MIT
92	Olive Olive：简化ML模型微调、转换、量化和优化，适用于CPU、GPU和NPU。	2.4K	312	08/28/26	MIT
93	ort 用于Rust中ONNX模型的快速ML推理与训练	2.5K	264	08/27/26	Apache-2.0
94	llm-checker 高级CLI工具，扫描你的硬件并精确告知你可以在本地运行哪些LLM或sLLM模型，完全集成Ollama。	2.9K	198	08/28/26	Other
95	sie 开源推理服务器和生产集群，为你的智能体提供所需的所有模型。	2.9K	287	08/27/26	Apache-2.0
96	onnx-tensorrt ONNX-TensorRT：用于ONNX的TensorRT后端	3.2K	548	08/03/26	Apache-2.0
97	hls4ml 使用HLS在FPGA上进行机器学习	2.1K	583	08/28/26	Apache-2.0
98	deepdetect 用于Torch和TensorRT的深度学习服务器和命令行工具	2.6K	546	08/28/26	Other
99	Atomic-Chat 本地AI应用和智能体推理引擎。在本地运行开放权重LLM，私密且完全离线。加入我们的Discord：https://discord.com/invite/8wGSsvmg4V	1.4K	160	08/28/26	Other
100	tokenspeed TokenSpeed 是一个光速级 LLM 推理引擎。	2.0K	261	08/30/26	MIT

订阅更新