#3 · 主分类: MLOps与评测

airflow

airflow apache apache-airflow automation dag data-engineering data-integration data-orchestrator data-pipelines data-science elt etl machine-learning mlops orchestration python scheduler workflow workflow-engine workflow-orchestration

Apache Airflow - 一个以编程方式编写、调度和监控工作流的平台

项目最后更新:08/29/26

GitHub Stars

46.6K

Forks数量

17.7K

贡献者数量

4.6K

许可证

Apache-2.0

收录理由

如果你的团队需要按计划触发数据或机器学习流水线,失败后自动重试,并且每一步都要留下可追溯的记录,Airflow 往往是大家最先想到的工具。它允许你用纯 Python 定义工作流,每个任务就是有向无环图中的一个节点,调度器、任务队列和用于查看任务状态与日志的 Web 界面都由平台统一处理。内置的运算符库覆盖了云服务、数据库和数据仓库的常见操作,因此你可以把数据抽取、转换和模型训练环节串起来,而不用自己写一堆胶水代码。由于流水线本质上是 Python 代码,你可以动态生成它们,并像管理普通代码一样进行版本控制。对于已经在生产环境中使用 Airflow 的团队来说,围绕它已经形成了成熟的插件生态、丰富的集成方案和大量的社区经验,遇到问题时很容易找到参考。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目