llama2-webui

收录理由

llama2-webui 把 Gradio 聊天界面和兼容 OpenAI 的 API 直接绑在本地 Llama 2 后端上，装好就能拿到一个能用的服务端点，省去自己拼装模型加载、提示词处理和前端界面的功夫。它在 Linux、Windows、macOS 上都能跑，支持从 7B 到 70B 的 Llama 2 主要版本，涵盖 Hugging Face、GPTQ、GGML、GGUF 这些格式。用哪个后端（transformers、bitsandbytes 8-bit、AutoGPTQ 4-bit 或 llama.cpp）通过环境文件就能切换，换机器时不用改代码，从带强力 GPU 的台式机挪到只有 CPU 的笔记本也很方便。项目还附带一个 Code Llama 补全界面，想要代码填充而不是聊天的人可以直接用。另外，pip 包 llama2-wrapper 让应用或智能体对接同一个本地模型，API 接口模仿 OpenAI 的风格，以后要是想换用托管的模型服务，改动量很小。