#170 · 主分类: MLOps与评测

popmon

covariate-shift data-analysis data-distributions data-profiling data-science dataset-shifts drift-detection hacktoberfest ing-bank ipython jupyter mlops monitoring pandas population-monitoring python spark statistical-process-control statistical-tests statistics

监控 Pandas 或 Spark 数据框的稳定性 ⚙︎

项目最后更新:01/09/26

GitHub Stars

511

Forks数量

35

贡献者数量

20

许可证

MIT

收录理由

许多漂移检测工具要求你先搭建一整套监控基础设施,才能看到任何有意义的结果。popmon 选择了一条相反的路径:它直接对已有的 pandas 或 Spark 数据框进行操作,将特征值按时间分桶,计算直方图,并运用统计检验来捕捉趋势变化、分布偏移、峰值异常或相关性改变。产出是一份自包含的 HTML 报告,分享或归档都很方便。由于同样的逻辑既适用于本地数据框,也适用于分布式数据框,团队可以在 notebook 中先做原型验证,再把同一套检查复用到集群管道上。你还可以设定业务规则来自动标记问题,并将直方图数据推送到 Grafana 或 Kibana,如果你们的团队日常已经依赖这些仪表盘的话。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目