AI数据基础设施与存储 · 开源 AI 场景榜单

排名	项目	Stars	Forks	更新	许可证
1	ClickHouse ClickHouse® 是一个实时分析数据库管理系统	49.5K	8.9K	08/29/26	Apache-2.0
2	simdjson 每秒解析数GB的JSON：被Facebook/Meta Velox、Node.js运行时、ClickHouse、WatermelonDB、Apache Doris、Milvus、StarRocks使用	24.2K	1.3K	08/27/26	Apache-2.0
3	gun 开源网络安全协议，用于同步去中心化图数据。	19.1K	1.2K	08/01/26	Other
4	emqx 为AI、IoT、IIoT和联网车辆提供最可扩展且可靠的MQTT broker	16.7K	2.5K	08/29/26	Other
5	server MariaDB服务器是MySQL服务器的社区开发分支。由原MySQL团队核心成员发起，MariaDB积极与外部开发者合作，提供业界功能最丰富、稳定且许可合理的开源SQL服务器。	8.2K	2.1K	08/29/26	GPL-2.0
6	seatunnel SeaTunnel是一个多模态、高性能、分布式的大规模数据集成工具。	9.6K	2.4K	08/29/26	Apache-2.0
7	gel Gel 为 Postgres 注入强大动力，提供现代数据模型、图查询、Auth 与 AI 解决方案等更多功能。	14.2K	452	12/24/25	Apache-2.0
8	databend 数据代理就绪仓库：一站式分析、搜索、AI、Python沙箱——从零重建，基于你的S3的统一架构。	9.4K	895	08/29/26	Other
9	risingwave 面向智能体AI的事件流平台。持续实时、大规模地摄取、转换和提供事件流。	9.3K	825	08/29/26	Apache-2.0
10	crawlee-python 用于网页抓取和浏览器自动化的Python库，为AI、LLM、RAG和GPT提取数据。	9.5K	800	08/28/26	Apache-2.0
11	3FS 一个高性能分布式文件系统，旨在应对AI训练和推理工作负载的挑战。	10.2K	1.1K	05/07/26	MIT
12	deeplake Deeplake是面向智能体的AI数据运行时。它提供无服务器的Postgres与多模态数据湖，实现可扩展的检索和训练。	9.2K	724	05/21/26	Apache-2.0
13	lance 面向多模态AI的开放湖仓格式。两行代码即可从Parquet转换，实现100倍更快的随机访问、向量索引和数据版本控制。兼容Pandas、DuckDB、Polars、Pyarrow和PyTorch，更多集成即将推出。	7.0K	826	08/29/26	Apache-2.0
14	unstract 基于LLM的非结构化数据提取 — 专为API部署与ETL管道工作流设计	7.2K	709	08/29/26	AGPL-3.0
15	materialize 应用和AI代理的实时数据层。仅用SQL即可创建业务的最新视图。	6.4K	511	08/30/26	Other
16	Daft 面向AI和多模态工作负载的高性能数据引擎。可处理任意规模的图像、音频、视频和结构化数据。	5.7K	549	08/26/26	Apache-2.0
17	datasets TFDS是一个数据集集合，可直接用于TensorFlow、Jax等。	4.6K	1.6K	08/21/26	Apache-2.0
18	crate CrateDB是一个分布式、可扩展的SQL数据库，用于近实时地存储和分析海量数据，即使面对复杂查询也能胜任。它兼容PostgreSQL，并基于Lucene构建。	4.4K	612	08/28/26	Apache-2.0
19	memgraph 高性能开源内存图数据库，用于GraphRAG、AI记忆、智能体AI和实时图分析。兼容Cypher，使用C++构建。	4.4K	261	08/29/26	Other
20	vortex 一个可扩展的、最先进的列式压缩框架，也是最快的开源列式文件格式。原属 @spiraldb，现为 LFAI&Data 的孵化阶段项目，隶属于 Linux 基金会。	3.2K	214	08/29/26	Apache-2.0

订阅更新