kedro

收录理由

把数据科学笔记本搬进定时调度的生产管道，往往是许多机器学习项目停滞的地方，Kedro 正是为了消除这一步而设计的。它是一个 Python 框架，用软件工程的结构约束数据工作：统一的项目布局、支持本地与云端文件系统的数据目录连接器，以及管道节点之间的自动依赖解析。每个管道节点都是模块化、可测试的函数，因此同一套代码可以从 Jupyter 原型直接迁移到 Airflow、Kubeflow、Databricks 或 SageMaker 上的定时运行，无需重写。Kedro-Viz 提供了数据血缘、节点状态和执行时间的可视化界面，向干系人解释工作流或排查失败步骤时尤其有用。对于厌倦了脆弱胶水代码的数据科学家和机器学习工程师来说，这是一个支撑可复现、标准化工作的实用底座。