JoyHallo

收录理由

JoyHallo 能把一张人像照片和一段音频变成会说话的视频，嘴型、表情和头部动作都会跟着语音走。它专门为普通话设计，用中文 wav2vec2 编码器处理汉语里那些复杂的口型变化，作者也说它仍能生成像样的英文片段，跨语言能力不错。项目自带 Gradio 演示和命令行推理，还支持用你自己的肖像视频数据做微调。要是你打算改模型而不是只跑一下，它那种把嘴型、表情和姿态特征分开处理的半解耦结构值得研究。整体上是个研究级别的代码库，需要一块够强的 GPU，数据准备也得细心，不是拿来即用的产品。