GPTCache

收录理由

GPTCache 为 LLM 查询提供语义级缓存，不再依赖逐字匹配，而是通过向量相似度判断问题是否重复。因此，即便用户换个说法提问，只要语义相近，就能直接复用之前的回答，省下重复调用大模型接口的开销。对于聊天机器人、客服工具或检索类应用，这类需要频繁向 OpenAI 等模型发送相似请求的场景，它能把成本降下来，同时响应也更快。使用起来并不复杂：选定一种嵌入函数，在 SQLite、FAISS、Redis 或 Milvus 中挑一个作为存储，再设定相似度阈值，之后库会自动处理完全重复和近似重复的查询。它还能通过适配器接入 LangChain 和 llama_index。官方还提供了服务器镜像，非 Python 技术栈也能共用这套缓存。需要留意的是，维护者已不再为层出不穷的新模型 API 逐一添加适配器，而是建议用户直接使用通用的 get/set 接口。