#222 · 主分类: 知识库与企业搜索

finetune-embedding

使用合成数据对RAG进行嵌入微调

项目最后更新:09/11/23

GitHub Stars

527

Forks数量

75

贡献者数量

3

许可证

Other

收录理由

如果你们团队正在做针对私有或专业文档的检索增强生成,可能会发现通用嵌入模型经常捕捉不到用户实际输入的那种问法,导致检索效果差强人意。这套notebook提供了一条绕开这个困境的思路:先用LLM为每个文本块生成若干假设性问题,从而自动构造出查询与相关文档的正样本对,省去了人工标注的麻烦;接着在这些样本对上用排序损失微调一个开源嵌入模型,再把它和原始模型以及OpenAI的嵌入模型放在同一批数据上对比检索效果。作者用金融类PDF做了小规模实验,结果显示微调后检索性能提升明显。要注意的是,这份代码已经有些过时,维护者已把相关的微调抽象整合进了LlamaIndex主仓库,所以这个项目更适合当作一种技术路线的学习参考,而不是直接拿来部署的现成工具。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目