champ

收录理由

Champ能把一张人物照片变成一段短视频，动作由你提供的参考运动序列驱动，而不是靠文字提示。它用SMPL人体模型提取三维参数，再结合深度、姿态、法线和语义图，去引导潜在扩散模型生成画面，这样人物在动起来时依然保持可辨识，身体比例也不容易走样。这种可控性对做虚拟形象或者舞蹈视频特别实用——你给一张参考图和一段目标动作，模型就能让这个特定的人跟着动。仓库里已经放了预训练权重、推理脚本、训练代码，还有生成SMPL动作数据的文档，团队可以自己跑起来，按需求调整流程，不用当黑盒用。做角色动画或数字人项目的话，这是个来自ECCV 2024论文的扎实研究级起点。