#143 · 主分类: 推理与本地部署
ollama-helm
Ollama 在 Kubernetes 上的 Helm chart
项目最后更新:08/29/26
GitHub Stars
589
Forks数量
93
贡献者数量
40
许可证
MIT
收录理由
把 Ollama 从单机搬到 Kubernetes 上,部署、存储、网络这些事都得自己操心。这个社区维护的 Helm chart 用一条安装命令就把活儿干完了:它支持 NVIDIA 和 AMD 的 GPU,用持久卷保存模型,还能配 ingress 让 REST API 在集群外也能访问。启动时它会按你指定的模型列表自动拉取或创建,并预加载到内存里。如果你想要缩容到零的按需服务,它也能生成 Knative Service 而不是普通的 Deployment。平台工程师如果追求可复现的 LLM 服务,又不想手写一堆 manifest,用 values 文件的方式会很顺手;文档里的升级说明和示例也把常见的 GPU、ingress 配置讲清楚了。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。