CoDeF

收录理由

做视频编辑时，最头疼的往往是逐帧处理带来的闪烁和漂移。CoDeF 换了个思路：它先学一个代表整段视频静态内容的规范场，再配一个时间变形场，把规范图像映射到每一帧。这样一来，你只需在规范帧上做一次编辑，比如用 ControlNet 这类图生图模型，结果就能自动传到整个视频，实现无闪烁的视频到视频转换。它还能做关键点跟踪，连水、烟雾这类非刚性物体也跟得住。官方提供了 PyTorch 实现、预训练权重和 Colab 演示，照着跑就能复现 CVPR 2024 的结果，也能改来适配自己的素材。不过要提醒一句，这是研究级代码，有完整的训练流程和数据预处理，不是开箱即用的傻瓜工具，得有点耐心。