AI数据基础设施与存储 · 开源 AI 场景榜单

排名	项目	Stars	Forks	更新	许可证
21	datachain 非结构化数据的上下文层：基于S3、GCS、Azure的类型化、版本化数据集	2.8K	156	08/30/26	Apache-2.0
22	supabase-py Supabase 的 Python 客户端。从 Flask、Django、FastAPI 查询 Postgres。Python 用户认证、安全策略、边缘函数、文件存储和实时数据流。适合新手入门。	2.6K	540	08/28/26	MIT
23	spider 为AI代理和LLM获取网络数据 - 使用Rust实现快速、高效、可靠	2.7K	284	08/19/26	MIT
24	openlake OpenLake 是一个高性能存储引擎，用于高效的LLM推理和GPU训练。	2.3K	417	08/29/26	Apache-2.0
25	OpenMLDB OpenMLDB 是一个开源机器学习数据库，提供特征平台计算，为训练和推理提供一致的特征。	1.7K	332	08/28/26	Apache-2.0
26	alluxio Alluxio，用于云端分析和机器学习的数据编排	7.2K	2.9K	04/29/25	Apache-2.0
27	infinispan Infinispan 是一个开源数据网格平台，也是一个高度可扩展的 NoSQL 云数据存储。	1.3K	652	08/29/26	Apache-2.0
28	rocketmq-rust 🚀Apache RocketMQ 用 Rust 构建🦀。更快、更安全、内存占用更低。⭐ 为我们的工作点星标支持❤️！	1.5K	245	08/29/26	Apache-2.0
29	pixeltable AI数据应用的统一多模态后端	1.6K	219	08/29/26	Apache-2.0
30	datalevin 一个简单、快速且通用的Datalog数据库	1.5K	85	08/29/26	EPL-2.0
31	database-build 浏览器内 Postgres 沙箱，带 AI 辅助（原名 postgres.new）	3.0K	274	06/03/26	Apache-2.0
32	nocturne_memory 一个轻量级、可回滚、可视化的MCP代理长期记忆服务器。告别向量RAG和失忆。为您的AI提供跨任何模型、会话或工具的持久化、图状结构化记忆。可直接替代OpenClaw。	1.3K	166	08/27/26	MIT
33	duckle 开源 ETL/ELT，可部署在自己的服务器或云端。基于 DuckDB：无代码/低代码可视化管道或 SQL，385 个组件，dbt、CDC、数据质量、反向 ETL、血缘、面向 AI 代理的 MCP。无厂商云，无按行计费。	1.3K	93	08/29/26	Apache-2.0
34	ai-data-extraction 从 cursor、codex、claude-code、windsurf 和 trae 中提取你的所有个人数据历史	1.3K	106	08/19/26	Other
35	dataclaw 将代理聊天历史发布为Huggingface数据集的代理工具。	2.1K	233	06/05/26	MIT
36	docarray 表示、发送、存储和搜索多模态数据。	3.1K	243	03/27/26	Apache-2.0
37	fugue 分布式计算的统一接口。Fugue 无需重写即可在 Spark、Dask 和 Ray 上执行 SQL、Python、Pandas 和 Polars 代码。	2.2K	103	05/19/26	Apache-2.0
38	webdataset 一个高性能的基于Python的I/O系统，用于大型（和小型）深度学习问题，对PyTorch有强力支持。	3.2K	234	02/09/26	BSD-3-Clause
39	postgresml 为ML/AI应用提供GPU加速的Postgres。	6.8K	364	07/01/25	MIT
40	img2dataset 轻松将大量图片URL转换为图片数据集。可在单台机器上20小时内下载、调整大小并打包1亿个URL。	4.4K	375	10/19/25	MIT

订阅更新