whylogs

收录理由

机器学习团队常常缺少一个轻量手段来回答最基础的可信度问题：今天进来的数据，其分布还和当初训练模型时一样吗？whylogs 通过为任意数据集生成紧凑的统计摘要（称为 profiles）来回应这个疑问，这些摘要记录分布、缺失值和自定义指标，却不必保存原始数据。多个 profiles 可以合并，因此你能够在分布式或流式负载下聚合它们，并比较任意时间窗口内的分布差异，让特征漂移、训练服务偏差和概念漂移的检测从一项定制工程变成日常检查。你还可以定义数据约束，在输入异常时快速失败；同一份 profiles 也能用于海量数据的探索性分析。对于不想引入重型监控平台、又希望在数据管道中获得可观测性的数据科学家、机器学习工程师和数据工程师来说，这是一个务实的起点，Python 与 Java 两套接口也让上手门槛保持在较低水平。