duckdb

收录理由

DuckDB 直接嵌入到你的进程里运行，而不是像传统数据库那样单独起一个服务，这让它很容易融入现有的数据处理流程。你可以直接让它读取 CSV、Parquet、JSON 文件，或者 pandas 的 DataFrame，然后从 Python、R、Java 里用列式 SQL 做查询。对于 AI 工作流里的数据准备环节，它很实用——比如清洗文档、把内容切分成适合 RAG 管线的块，或者整理训练数据。分析师也常用它来回答临时性的问题，用纯 SQL 就能搞定，不必专门搭建基础设施。如果团队原本习惯用 Python 逐行遍历数据，那么换成 DuckDB 后，速度上的提升往往是他们最先感受到的差别。