volcano

收录理由

Kubernetes自带的调度器擅长处理长期运行的服务，但面对批处理任务和分布式训练时，常常因为等待所有Pod就绪而卡住。Volcano用专为AI和高性能计算设计的批处理调度器替代了默认行为：只有当所需的所有Pod都能被放置时，作业才会启动，同时通过公平共享队列、抢占和超卖机制，避免共享集群变成无序竞争。它与PyTorch、TensorFlow、Spark、Flink、Ray、MPI、Kubeflow等常见AI和数据栈深度集成，调度时还会考虑拓扑结构，保证GPU和MPI通信的效率。数据科学家通过内置的作业控制器和命令行工具即可提交任务，无需手写YAML。如果你在共享集群上运行机器学习、大数据或基因组学工作负载，这个CNCF项目提供了一套跨团队管理优先级和配额的方法，省去了逐项手动调度的麻烦。