metaflow

收录理由

Metaflow 是一个面向团队的 Python 框架，它试图用一套工具衔接机器学习项目的两个阶段：从笔记本里的快速实验，到定时运行的线上任务。你只需要在代码里把流程描述成一个 flow，版本管理、产物存储、横向扩展这些事都由框架接手，不管是在本地笔记本上跑，还是放到云上和 Kubernetes 里跑，用的都是同一套逻辑。笔记本里验证过的 flow，可以直接提升到生产环境，不用推倒重写，这一步在真实的机器学习工作中往往是最大的痛点。它原生支持 AWS、Azure、GCP，也能接上 Argo Workflows 或 Airflow，所以不需要为了用它而更换你现有的基础设施。Metaflow 出自 Netflix，在那边支撑着几千个机器学习项目，对于希望实验流程能真正经得起生产环境考验的数据科学家和 ML 工程师来说，它提供了一个很实在的路径。