TopOpenSourceAI
EN

#53 · 主分类： 知识库与企业搜索

chonkie

ai chonkie chunker chunking-algorithm llms rag retrieval-systems semantic-chunker similarity-search splitting-algorithms text-splitter

🦛 使用Chonkie处理CHONK文档 ✨ — 轻量级摄取库，用于快速、高效且稳健的RAG管道

项目最后更新：08/26/26

在 GitHub 查看 访问官网

GitHub Stars

4.7K

Forks数量

352

贡献者数量

49

许可证

MIT

收录理由

手工搭建检索流程时，最磨人的往往不是模型本身，而是文本切分——段落边界上稍有不慎，切出来的块就语义破碎。Chonkie 把常见的分块策略收进一个轻量 Python 库里，从基础的 token 切分、句子切分，到语义切分甚至 LLM 驱动的切分，都能直接调用，想换策略时不必再自己维护一堆切分代码。它还覆盖了完整的摄入链路：抓取文档、清洗、分块、精炼、嵌入，最后送到向量库；自托管的 REST API 可以把同一套逻辑开放给非 Python 服务。默认安装体积小，同时集成了大量 tokenizer、嵌入服务和向量数据库，让不同检索环境下的分块结果保持一致、可复现。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。

同类热门项目

ragflow

RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，将前沿 RAG 与 Agent 能力融合，为大型语言模型（LLM）打造卓越的上下文层。

#1

Understand-Anything

教学型图表优于炫技型图表。将任意代码转化为可探索、搜索和提问的交互式知识图谱。支持Claude Code、Codex、Cursor、Copilot、Gemini CLI等。

#2

crawl4ai

🚀🤖 Crawl4AI：开源的、对LLM友好的网页爬虫与抓取工具。别害羞，加入这里：https://discord.gg/jP8KfhDhyN

#3

docling

为生成式AI准备文档

#4

anything-llm

停止租用你的智能。用AnythingLLM拥有它。你需要的一切，实现强大的本地优先智能体体验。

#5