#26 · 主分类: AI数据基础设施与存储

alluxio

alluxio data-analysis data-orchestration hadoop memory-speed presto spark tensorflow virtual-distributed-filesystem

Alluxio,用于云端分析和机器学习的数据编排

项目最后更新:04/29/25

GitHub Stars

7.2K

Forks数量

2.9K

贡献者数量

1.4K

许可证

Apache-2.0

收录理由

Alluxio 是一层分布式缓存,夹在计算引擎与持久化存储之间。它把热点数据缓存在集群内存里,当同一批大数据集被反复计算时,作业可以直接读本地内存,不必反复压榨对象存储或 HDFS。它对外暴露统一的虚拟命名空间,并通过通用接口对接多种后端存储,因此新增或替换存储系统时无需改动应用代码。这个项目源自加州大学伯克利分校 AMPLab 的 Tachyon 研究项目,在 Presto、Spark、Trino 等结构化分析场景中应用广泛。需要坦率说明的是:开源版本面向分析型负载,而大规模 AI 训练和推理加速则属于商业版的能力范围。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目