#79 · 主分类: MLOps与评测

maestro

agentic-workflow analytics automation batch-processing dag data-engineering data-ops data-orchestrator data-pipelines data-science elt etl java machine-learning mlops orchestration scheduler workflow workflow-engine workflow-orchestration

Maestro:Netflix 的工作流编排器

项目最后更新:08/26/26

GitHub Stars

3.8K

Forks数量

311

贡献者数量

12

许可证

Apache-2.0

收录理由

Maestro 是 Netflix 开源的工作流编排器,专为数据和机器学习管道设计。这个仓库难得地展示了超大规模公司如何调度每天数百万个任务——工作流以 DAG 表达,支持依赖、触发、重试和条件分支,即便数千个工作流同时启动,引擎也能在严格 SLO 内保持低延迟。对于已经感到 Airflow 式单主调度器不够用的数据工程师和 ML 工程师,这里能看到跨节点分发执行、处理数万任务的工作流,以及每个步骤在调用者身份下以容器运行等关键细节。项目自带可运行的服务器,提供 REST API 和 Docker 支持,你可以本地启动,实际体验工作流即服务的模式、版本化定义和共享任务模板,而不只是读博客。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目