semchunk

收录理由

检索管道和文档索引器常常卡在一个尴尬的中间环节：把长文本切成模型能吃的块，却又不能拦腰截断一个句子。semchunk 用极简的 API 解决了这个切分问题。你只需构建一次切分器，就能对单篇文本或整批文档反复调用，支持重叠和偏移，还能用多进程处理大规模语料。它不绑定任何特定分词器，无论是 Tiktoken、Hugging Face Transformers 还是自写的计数器都能配合，因此不会把你锁死在某个模型栈里。对于想要稳定、轻依赖的切分方案、又不想引入重型框架的团队来说，它很容易嵌入现有流程；可选的 AI 驱动模式能在不改变核心设置的前提下，提供基于模型的边界判断。