#42 · 主分类： 推理与本地部署
kserve
artificial-intelligence
cncf
genai
hacktoberfest
istio
k8s
knative
kserve
kubeflow
kubernetes
llm-inference
machine-learning
mlops
model-interpretability
model-serving
pytorch
service-mesh
tensorflow
vllm
xgboost
用于Kubernetes上可扩展、多框架部署的标准化分布式生成式与预测性AI推理平台
项目最后更新：08/29/26
GitHub Stars
5.8K
Forks数量
1.6K
贡献者数量
378
许可证
Apache-2.0
收录理由
在Kubernetes上跑生产模型，往往得自己搭一套服务层。KServe把这一层接了过去，用统一的InferenceService抽象同时管住生成式大模型和经典预测模型，所以vLLM托底的模型和XGBoost预测器共用一个控制平面，不必各搞一套。它基于Kubernetes原语和Knative，自带按请求自动伸缩、缩容到零、金丝雀发布和推理图路由，不用额外装别的组件；还提供模型可解释性和漂移监控，这些是裸模型服务器通常给不了的。作为CNCF孵化项目，又支持OpenAI兼容协议，自托管选它很稳，也不会被某一套运行时绑死。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。