video-diffusion-pytorch

收录理由

这个项目把Jonathan Ho提出的视频扩散模型论文用PyTorch实现了一遍，是早期把去噪扩散从静态图像延伸到短视频的工作之一。代码把空间-时间分解的U-Net和高斯扩散训练器封装成简洁的类，用几行代码就能训练一个小型视频模型，省去自己从头搭建架构的功夫。作者在合成任务（如移动MNIST）上验证了收敛性，同时也明确表示，追求真实文本生成视频效果的话，应该去看更活跃的imagen-pytorch仓库。因此，它更适合当作理解视频扩散管线的学习样本和起步脚手架，想完整读一遍可运行代码的人，从这里入手会很顺手。