vortex

收录理由

Vortex 是一个为数据处理引擎设计的列式存储格式。如果你的分析或机器学习工作常常卡在扫描速度上，这个项目值得认真关注。它声称在相近的压缩率下，读写性能比 Apache Parquet 有显著提升，随机访问甚至能快上百倍。更关键的是，它原生兼容 Arrow，能做到零拷贝，这意味着你现有的 Arrow、DataFusion、DuckDB、Spark、Pandas 或 Polars 管道可以直接接入，不用重写数据层。它的设计把逻辑模式与物理布局分开，编码方式、压缩算法和布局策略都可以按需插拔，因此你可以针对自己的访问模式定制存储，而不必将就 Parquet 的默认行为。从 0.36 版本开始，文件格式已声明稳定并承诺向后兼容，早期尝试的风险因此低了不少。如果你的团队把宽表放在对象存储上，而瓶颈主要在 I/O 而非计算，那在正式采用之前，最好先跑一轮自己的基准测试。