#26 · 主分类： 推理与本地部署
OpenLLM
bentoml
fine-tuning
llama
llama2
llama3-1
llama3-2
llama3-2-vision
llm
llm-inference
llm-ops
llm-serving
llmops
mistral
mlops
model-inference
open-source-llm
openllm
vicuna
在云端运行任何开源LLM（如DeepSeek和Llama），作为OpenAI兼容的API端点。
项目最后更新：08/24/26
GitHub Stars
12.5K
Forks数量
836
贡献者数量
33
许可证
Apache-2.0
收录理由
把开源大模型跑成可调用的服务，通常要自己折腾推理后端、算GPU配置、再把各个组件手工串起来。OpenLLM 用一条 `openllm serve` 命令把这些琐碎环节收拢到一起，像 DeepSeek、Llama 这类开放权重的模型，启动后就直接暴露成 OpenAI 兼容的 API，调用方式跟云厂商提供的接口没什么两样。它还自带一个聊天界面，方便你快速做交互式验证。底层基于 BentoML 构建，意味着同一套配置可以平滑部署到 Docker 或 Kubernetes 上，而不是沦为一次性的临时脚本。从下载模型到产出可上云的服务端点，整个过程被压缩得很短，你不需要精通底层每一种推理框架的细节。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。