sycamore

收录理由

Sycamore 填补了原始文档与真正要查询的向量库或检索引擎之间的空白。它是一个开源处理引擎，能把 PDF、演示文稿、会议记录和手册等文件先切分，再经过富化和分块，让结果可以直接载入 OpenSearch、Elasticsearch、Pinecone、Qdrant、Weaviate 或 DuckDB。它的 DocSet 抽象很有意思：你可以用声明式数据流来描述切分、清洗和加载过程，这样尝试不同的分块策略时就不用写一堆胶水代码。你还能自己选择用哪些大语言模型来驱动富化转换。Aryn 的 DocParse 服务和开源的 DETR 视觉模型能处理带表格、图形等复杂版面的页面，让文档的语义结构在分块后依然保留。对于要在杂乱的企业文档上搭建 RAG 或混合搜索的团队来说，这种以 notebook 驱动的工作流和 Ray 后端，能帮你从原型顺利过渡到生产环境。