mars

收录理由

当单机上的pandas和scikit-learn已经难以应对数据规模时，Mars提供了一条平滑的升级路径，不必抛弃熟悉的代码习惯。它把那些常用接口包装成惰性求值的张量、数据框和机器学习模块，原本会在笔记本上内存溢出的计算，只需少量改动就能放到集群上运行。框架自己负责数据分块、任务调度和跨核或跨节点的执行，对于超出内存的数据集，做数据清洗、特征工程以及PCA、聚类这类经典建模都很顺手。同时它兼容joblib，也能与XGBoost、LightGBM等库配合，因而可以自然嵌入依赖Python数据生态的既有流水线。如果你希望在不放弃当前工作流的前提下获得分布式数据处理能力，Mars值得认真考察。