MagicDance

收录理由

MagicDance（论文中称 MagicPose）发表于 ICML 2024，核心能力是把一个人的姿态和面部表情迁移到另一个人的形象上，同时保留被驱动者的身份特征，让结果看起来依然像同一个人。它基于 Stable Diffusion 构建，采用类似 ControlNet 的姿态分支，并搭配一个将外观与动作解耦的控制模块，因此可以用一段姿态序列去驱动一张静态照片，使其动起来。仓库里提供了推理和训练脚本，训练部分支持多卡并行，README 也详细说明了如何用 OpenPose 生成姿态图并准备自己的视频数据。需要留意的是，这是研究性质的代码，运行前你得自己准备 GPU 环境和姿态检测流程。对于做角色动画、动作迁移相关工作的团队来说，这份实现是一个很实在的参考。