#241 · 主分类： 视频与动画
MOFA-Video
aigc
controllable-generation
diffusion-models
eccv2024
generative-ai
generative-models
image2video
video-diffusion-model
[ECCV 2024] MOFA-Video：通过冻结图像到视频扩散模型中的生成运动场自适应实现可控图像动画。
项目最后更新：12/05/24
GitHub Stars
766
Forks数量
51
贡献者数量
5
许可证
Apache-2.0
收录理由
MOFA-Video 源自一篇 ECCV 2024 论文，核心能力是把一张静态图片变成一段短视频。它没有单纯依赖文本提示，而是通过生成式运动场来驱动一个冻结的图像到视频扩散模型，因此你可以用轨迹、关键点或混合控制来指定动画的走向。仓库为每种控制方式都提供了 Gradio 演示和现成权重，方便你并排对比效果再决定用哪种。轨迹版还附带了训练脚本，团队想在自己的数据上做微调时，能有一个具体的起点。需要说明的是，这是研究代码，不是开箱即用的产品，你得自己动手跑脚本、调权重，但项目结构清晰，改造成角色动画、说话头或物体运动等场景并不困难。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。