llama-cpp-python

收录理由

在自有硬件上运行GGUF格式模型时，这是大多数开发者用来对接llama.cpp的Python库。它把C引擎拆成两层：底层ctypes接口适合需要精细控制的场景，上层则提供与OpenAI风格一致的API，代码在不同服务间迁移时无需大改。自带的Web服务遵循OpenAI协议，还额外支持函数调用、视觉输入以及多模型同时托管。安装时由你决定编译目标，CPU、CUDA、Metal、Vulkan或ROCm任选，因此从普通笔记本到专用GPU服务器都能找到合适的部署形态。此外，它兼容LangChain与LlamaIndex，已在使用这些框架的团队可以平滑转向本地推理，编排代码基本不用重写。