#3 · 主分类: MLOps与评测
airflow
Apache Airflow - 一个以编程方式编写、调度和监控工作流的平台
项目最后更新:08/29/26
GitHub Stars
46.6K
Forks数量
17.7K
贡献者数量
4.6K
许可证
Apache-2.0
收录理由
如果你的团队需要按计划触发数据或机器学习流水线,失败后自动重试,并且每一步都要留下可追溯的记录,Airflow 往往是大家最先想到的工具。它允许你用纯 Python 定义工作流,每个任务就是有向无环图中的一个节点,调度器、任务队列和用于查看任务状态与日志的 Web 界面都由平台统一处理。内置的运算符库覆盖了云服务、数据库和数据仓库的常见操作,因此你可以把数据抽取、转换和模型训练环节串起来,而不用自己写一堆胶水代码。由于流水线本质上是 Python 代码,你可以动态生成它们,并像管理普通代码一样进行版本控制。对于已经在生产环境中使用 Airflow 的团队来说,围绕它已经形成了成熟的插件生态、丰富的集成方案和大量的社区经验,遇到问题时很容易找到参考。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。
同类热门项目
unsloth
本地UI,用于运行和训练LLM及扩散模型。支持GGUF、MLX、Qwen3.8、Kimi K3、MiniMax-H3、Gemma 4、FLUX等。
LlamaFactory
统一高效微调100+大语言模型与视觉语言模型(ACL 2024)
langfuse
🪢 开源AI工程平台:LLM评估、可观测性、指标、提示管理、游乐场、数据集。与OpenTelemetry、LangChain、OpenAI SDK、LiteLLM等集成。🍊YC W23
netron
神经网络、深度学习和机器学习模型的可视化工具
mlflow
面向代理、LLM和机器学习模型的开源AI工程平台。MLflow帮助各种规模的团队调试、评估、监控和优化生产级AI应用,同时控制成本并管理对模型和数据的访问。