turbovec

收录理由

当你的向量集合规模大到 float32 索引在内存上难以承受时，turbovec 值得一试。一份 1000 万文档的语料，以 float32 存储需要 31 GB 内存，而它只需约 4 GB，并且检索速度还快于 FAISS。它借助 Google 的 TurboQuant 算法，将每个向量分量量化到 2 至 4 位，该算法无需单独的训练阶段，对数据分布不敏感。向量添加后立即可被搜索，无需调参，也无需在语料增长时重建索引。手写的 SIMD 内核（x86 上的 AVX-512，ARM 上的 NEON）与 FAISS 的产品量化快速扫描路径不相上下，同时按 ID 白名单过滤在搜索内核内直接执行，选择性查询能跳过大部分打分计算。它还提供了 LangChain、LlamaIndex、Haystack 和 Agno 中内存向量存储的即插即用替代品，换入现有检索管线非常省事。对于自托管、可离线运行、且具备增量崩溃安全持久化的搜索层来说，这是一个轻依赖的扎实选择。