LocalAI

收录理由

LocalAI 是一个可自行托管的推理服务，对外提供与 OpenAI 兼容的接口，团队无需改动现有代码，就能把原本对接云端 API 的应用指向本地模型。它不依赖 GPU，在纯 CPU 或配置一般的机器上也能跑起来，当云 GPU 成本过高，或者数据合规要求不允许把数据送到外部服务时，这种本地部署方式就显得格外实用。项目把 llama.cpp、vLLM、whisper.cpp、stable-diffusion 等引擎统一收在一个接口后面，一套部署就能同时处理文本、视觉、语音和图像生成等任务。各个后端按需拉取，而不是一股脑全装进包里，实际用不到的东西不会占用你的磁盘和内存。对想摆脱托管 API、自己掌控一切的开发者和小团队来说，快速上手的体验加上对大量模型的支持，是它最吸引人的地方。