#166 · 主分类: 知识库与企业搜索

gritlm

embedding embedding-models embeddings grit information-retrieval instruction-tuning llm llms mteb retrieval sbert sgpt text-embedding

生成式表征指令微调

项目最后更新:06/25/25

GitHub Stars

699

Forks数量

49

贡献者数量

7

许可证

MIT

收录理由

GRIT 是一种训练方法的参考实现,让同一个大语言模型同时承担两项任务:既生成文本向量,又用同一套权重产出回答。仓库以 pip 包 `gritlm` 形式安装,`GritLM` 类可加载 7B 或 8x7B 模型,按需切换嵌入、生成或两者兼用,并附带了论文中的训练数据、对齐方案和评估脚本。由于同一模型兼顾两种能力,在检索增强生成流程里可以缓存中间计算,前向传播次数大约减半,处理长文档时尤其划算。对于目前分别部署嵌入模型和生成模型的团队,这套方案能简化服务架构;想复现或扩展 MTEB 结果的人,也能拿到完整的训练管线,而不只是孤立的模型权重。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目