#30 · 主分类： 推理与本地部署
inference
artificial-intelligence
deployment
diffusers
gemma
glm
glm-5-3
inference
kimi
kimi-k3
llama-cpp
llamacpp
llm
machine-learning
openai-api
pytorch
qwen
sglang
transformers
vllm
whisper
通过更改一行代码，即可将GPT替换为任何LLM。Xinference让您可以在云端、本地或笔记本电脑上运行开源、语音和多模态模型——全部通过一个统一的、生产就绪的推理API。
项目最后更新：08/29/26
GitHub Stars
9.5K
Forks数量
865
贡献者数量
161
许可证
Apache-2.0
收录理由
Xinference 提供了一个统一的模型服务层，让开源权重模型能够直接兼容你熟悉的 OpenAI API 协议。你只需把现有客户端代码指向自托管的 Llama 或 Qwen 实例，大部分功能即可无缝工作，因为接口使用同一套通信标准。同一服务还支持语音识别和多模态模型，这意味着一次部署就能同时处理对话、转写和视觉任务，无需为每种负载搭建独立的技术栈。运维方面，它自动处理 CPU/GPU 资源分配和请求批量调度，除了 REST API，还提供命令行工具和网页界面，方便你实时监控运行状态。对于既想掌控数据与成本、又不愿放弃成熟 API 习惯的团队，这相比托管服务是一个很实用的选择。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。