vaex

收录理由

当数据量超出内存容量时，多数表格工具会变得寸步难行，而 Vaex 正是为解决这类场景而生。它借助内存映射机制读取文件，无需将整个数据集载入内存，就能完成统计计算、绘制直方图和密度图，并支持对数十亿行数据进行筛选。其惰性表达式系统允许用户定义虚拟列，这些列在实际计算时才会求值，即使数据始终存放在磁盘上，也能在 Jupyter 中保持流畅的交互体验。对于早期数据探索、模型训练前的特征筛选，或是直接对 HDF5 与 Arrow 文件做临时分析，它都是比启动集群更便捷的选择。内置的绘图功能与 Jupyter 组件支持，也让快速查看大规模数据变得轻松。