StableVideo

收录理由

StableVideo 是一个研究性质的开源实现，用于修改现有视频中的内容，比如给物体重新上色、改变场景中的某些元素。它先对视频的层次化表示进行一次编辑，然后将这一改动传播到所有帧，从而避免逐帧处理带来的闪烁或漂移问题，保证结果在时间上保持一致。对于想复现 ICCV 2023 论文的研究者，或者正在评估提示词驱动视频编辑能否融入自己工作流的开发者，这个项目都有参考价值。仓库提供了 Gradio 应用、仅用 CPU 运行的版本，以及详细的显存占用表，方便在投入硬件前估算成本。需要提醒的是，这是一个研究级工具：你需要自行下载 ControlNet 预训练权重和示例视频的图集，默认 float32 配置大约需要 29 GB 显存，不过启用 amp 和 CPU 缓存选项后，占用可以削减近一半。