DALLE-pytorch

收录理由

这个项目用 PyTorch 重新实现了 OpenAI 最初的 DALL-E 文生图 Transformer，训练和生成代码都写得很清楚，容易跟着读。研究者和工程师可以替换成 DiscreteVAE 或预训练的 VQGAN 编码器，在自己的图文数据集上训练一个小规模的模型。因为 VAE、自回归 Transformer 和 CLIP 风格的重排序步骤是分开的组件，代码本身也像一份实用的教程，把离散图像 token 和 Transformer 生成怎么结合起来讲得明明白白。要是你想了解 DALL-E 2 之前的管线，或者想在不算太贵的硬件上复现 2021 年的做法，这个库比单纯读论文好上手得多。