#191 · 主分类: 深度学习框架

classifier-free-guidance-pytorch

artificial-intelligence classifier-free-guidance deep-learning text-guidance

在Pytorch中实现无分类器引导,重点在于文本条件化,并灵活支持多种文本嵌入模型。

项目最后更新:03/11/25

GitHub Stars

543

Forks数量

34

贡献者数量

2

许可证

MIT

收录理由

扩散模型要听文本的指挥,无分类器引导已是绕不开的标准做法。这个 PyTorch 库没有做成一条龙流水线,而是把引导机制拆成可插拔的组件。文本条件器能单独取 T5 或 OpenCLIP 的嵌入,也能像 eDiff-I 那样把两者拼起来,再通过 FiLM 或交叉注意力送进网络的隐藏层。最值得借鉴的是那个装饰器:包住现成的 nn.Module,前向传播时自动注入条件函数,推理时把 cond_scale 调过 1 就能开启引导。这样一来,研究者想给自研结构加文本控制,就不必从零手写条件注入的管道。它默认你自己能搞定训练循环,适合只要积木、不要整机的团队。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目