video-retalking

收录理由

VideoReTalking 是一个研究性的代码库，专注于一个具体的任务：给一段说话人视频和一条新的语音，重新渲染说话者的嘴部，让嘴唇与话语同步。它不只是简单地把嘴唇贴上去，而是通过表情归一化和人脸增强的处理，所以在普通拍摄的素材上也能有不错的效果，不需要手动标注关键点。你可以通过命令行参数设置中性或微笑的表情基线，并微调上半脸的表情。作为 SIGGRAPH Asia 2022 的参考实现，你需要自己下载模型并配置 CUDA 环境，同时要避免拍摄中出现的极端头部姿态。对于不想依赖云 API 的配音和合成主播工作，它是一个可靠的自托管选择。