#174 · 主分类： 深度学习框架
contrastors
contrastive-learning
deep-learning
dense-retrieval
embeddings
image-embeddings
multimodal
multimodal-rag
pytorch
rag
text-embeddings
transformers
在Pytorch中对比训练模型
项目最后更新：03/26/25
GitHub Stars
802
Forks数量
64
贡献者数量
4
许可证
Apache-2.0
收录理由
这套代码是 Nomic 自家嵌入模型背后的训练实现，如果你打算自己训练文本或图像嵌入模型，而不是调用托管 API，它会是一份很有参考价值的起点。它把整条流程都覆盖到了：掩码语言建模预训练、对比微调，以及 CLIP 风格的视觉-语言对齐，全部由配置文件驱动，并借助 DeepSpeed 在多个 GPU 上运行。Flash Attention 的集成和 GradCache 支持，让团队在显存受限的情况下也能用大批次训练；Matryoshka 选项则允许训练一个模型，同时输出多种尺寸的嵌入向量。无论是想复现嵌入论文的研究者，还是想在自己的数据上微调检索模型的工程师，都能从这些配置和数据加载工具里找到扎实的出发点，哪怕最终会对代码做不少改动，而不是直接照搬。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。