api-for-open-llm

收录理由

自己托管一个开源大模型，通常得费劲把推理服务接进现有系统，而这个项目直接给你一个现成的 OpenAI 兼容接口。它把 LLaMA、Qwen、ChatGLM、Baichuan、Yi 等模型统一成熟悉的 chat-completions 格式，应用和 LangChain 工具想从商业 API 切到本地模型，改改环境变量就行，不用重写代码。实际用到的细节也考虑到了：支持流式输出、提供文本嵌入给检索增强、能加载你自己微调过的 LoRA 权重，需要高并发时还可以选 vLLM 加速。想拿开源模型当更便宜或更可控的后端来试，这是把它们快速放到标准接口后面的省事路子。