local-studio

收录理由

自托管多个大模型后端时，通常要为每个引擎分别记一套命令行操作，vLLM、SGLang、llama.cpp 和 exllamav3 各有各的启动参数和日志入口。Local Studio 把这些后端统一收进一个桌面控制面板，通过共享的 OpenAI 兼容代理，启动模型、释放显存、查看 VRAM 占用、直接对话，都能在同一界面完成。它提供签名并公证的 macOS Apple Silicon 安装包，底层由 Bun/Hono 控制器负责模型生命周期、下载和日志，前端基于 Next.js 和 Electron，附带聊天界面和智能体工作台。前端也可以连接远程 GPU 主机上的控制器，这样团队里用笔记本的人无论后端跑在哪台机器上，看到的运行状态和用量视图都是一致的。它更像是在推理服务之上加了一层统一管理外壳，而非替代后端本身。