ControlNeXt

收录理由

扩散模型用文字描述意图容易，但想精确控制生成内容却很难。ControlNeXt 就是为此设计的轻量控制适配器，能接入 SDXL、SD1.5 处理图像，也能配合 SVD 生成视频，支持 Canny 边缘、深度图、遮罩或姿态序列等结构化条件。相比 ControlNet，它的可训练参数减少约 90%，因此在自己的数据上微调时收敛更快，还能与 LoRA 结合调整风格而不破坏生成稳定性。仓库里既提供了训练好的适配器，也附带了图像和姿态驱动视频两个版本的训练脚本，既可以拿来直接做推理，也可以作为重新训练时的参考。对于做可控图像编辑或人体姿态动画视频的团队来说，作者分享的训练经验和 issue 讨论能省去大量反复试错的功夫。