#143 · 主分类: 推理与本地部署

ollama-helm

helm kubernetes ollama

Ollama 在 Kubernetes 上的 Helm chart

项目最后更新:08/29/26

GitHub Stars

589

Forks数量

93

贡献者数量

40

许可证

MIT

收录理由

把 Ollama 从单机搬到 Kubernetes 上,部署、存储、网络这些事都得自己操心。这个社区维护的 Helm chart 用一条安装命令就把活儿干完了:它支持 NVIDIA 和 AMD 的 GPU,用持久卷保存模型,还能配 ingress 让 REST API 在集群外也能访问。启动时它会按你指定的模型列表自动拉取或创建,并预加载到内存里。如果你想要缩容到零的按需服务,它也能生成 Knative Service 而不是普通的 Deployment。平台工程师如果追求可复现的 LLM 服务,又不想手写一堆 manifest,用 values 文件的方式会很顺手;文档里的升级说明和示例也把常见的 GPU、ingress 配置讲清楚了。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目