magnitude

收录理由

给笔记本挑一个跑得动、速度也够用的模型，通常要反复试错很久。Magnitude 把这件事自动化了：它会检测你的芯片、内存和带宽，给出带预估每秒 token 数的模型建议，你选定后自动下载，并以配置好推测解码和并发参数的推理服务运行。服务只在收到 agent 请求时才加载模型，空闲时自动卸载，因此配合编码 agent 或本地工具使用时，不必常驻一个进程。你可以用内置的测试框架，也可以把 OpenCode、Pi、Hermes、Codex、Claude Code 等前端直接连到已加载的模型上，所有数据都留在本机，完全离线可用。对于不想依赖 API key、又需要私有推理层的团队，一条命令完成安装，模型管理全自动，比手动调 Ollama 或 LM Studio 更省心。