seldon-core

收录理由

在Kubernetes上跑生产级机器学习模型的平台团队，可以从Seldon Core这里找到一套成熟的做法来规范化日常工作。它把训练好的模型封装成推理服务，通过单一操作符就能完成部署、监控和扩缩容，而且不绑定特定运行时，能适配多种模型类型。推理侧支持把多个模型合并到共享基础设施上，配合自动伸缩，能省下不少基础设施开销。实验功能可以把流量在候选模型之间做分配，方便做A/B测试或影子部署。基于Kafka的流水线更进一步，把模型和自定义组件串成实时应用，而不是让每个模型孤立运行。如果团队想走一条可复现的路径，从训练好的模型平滑进入生产环境，这个项目值得作为起点。