dvc

收录理由

当数据集和模型权重逐渐变大，Git 仓库很快就装不下、也管不动了。DVC 把代码版本管理的思路搬到了数据上：仓库里只存轻量的元数据文件，真正的产物放在内容寻址的缓存里，可以推到 S3、SSH、Google Drive、Azure 等远程存储。新克隆一份代码时，它会按提交记录拉取对应的数据和模型，保证环境一致。除了版本控制，DVC 还把可复现的流水线定义成阶段，记录每次运行的指标、参数和图表，并管理实验队列，全部在命令行里完成，不脱离日常的 Git 工作流。对数据科学家和机器学习工程师来说，想要可复现性和实验历史，又不想引入笨重的平台，这套工具很顺手；已经在用 Git 的团队，无论个人还是小团队，上手都不会太费劲。