llama.cpp

收录理由

llama.cpp 用纯 C/C++ 编写，不依赖外部库，就能在你手头的硬件上直接跑大语言模型。无论是笔记本 CPU、Apple Silicon、NVIDIA 或 AMD 显卡，甚至 RISC-V 和 WebGPU 环境，它都能适配；通过整数量化，内存占用被压得很低，配置一般的机器也能装下更大的模型。除了命令行交互工具，它还附带一个兼容 OpenAI 接口的服务器，内置网页界面，现有应用只要会调用标准聊天 API，就能把它当后端用，几乎不用改代码。对于想做端侧助手、边缘部署或隐私敏感工具的人来说，模型跑在自己掌控的硬件上，这很自然。本地推理生态里不少项目都建立在 llama.cpp 之上，熟悉它之后，再看这一整片领域会轻松很多。