OpenAI-CLIP

收录理由

CLIP 通常以预训练权重的方式被直接使用，但这个仓库反其道而行，把模型的构建与训练过程完整摊开。它用 PyTorch 从零实现了对比式图文学习：ResNet 负责图像编码，DistilBERT 处理文本，再接一个投影头，并在 Flickr-8k 上训练，让你能亲眼看着文本到图像的检索能力逐步成形。代码量不大，一口气就能读完，配套的 notebook 也把每一步拆解得清清楚楚。作者还根据用户反馈修复了真实训练中的几个坑，比如目标从模型输出中泄漏、缺少余弦归一化，最终得到的损失函数与论文目标严格一致。这个项目被多篇正式论文引用，作为学生或研究者学习、改造 CLIP 实现的紧凑参考，非常合适。