#139 · 主分类: 知识库与企业搜索

CAG

cag llm rag

缓存增强生成:一种简单高效的RAG替代方案

项目最后更新:05/26/25

GitHub Stars

1.5K

Forks数量

224

贡献者数量

13

许可证

MIT

收录理由

做知识型大模型应用的团队,在经典RAG上常会遇到三件头疼事:检索环节拖慢响应、检索器偶尔选错文档、多出来的流水线让系统维护变得更重。CAG干脆绕开这些麻烦,先把相关资料全部塞进模型的上下文窗口,缓存好KV参数,推理时直接生成答案,中间省掉检索这一步。仓库里带了能跑的Python脚本,既有CAG路径,也有传统RAG基线,在SQuAD和HotPotQA上做过评测,模型和相似度指标都可以替换。如果你想验证一下不靠检索的生成方式能不能保住准确率,这套代码算是个挺扎实的参考。不过它属于研究型代码,不是拿来即用的服务,README也坦率指出了真正的限制:知识源必须整个塞进上下文窗口,这个约束在决定采用之前值得仔细掂量。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目