custom-diffusion

收录理由

这是一个来自Adobe与CMU的研究项目，成果发表于CVPR 2023，核心思路是用少量参考图（通常4到20张宠物、物体或风格照片）教会文生图模型一个新概念。实用之处在于，它只微调交叉注意力层中的键和值投影矩阵，每个额外概念仅需约75MB的权重增量，而不必复制整个模型。它还能同时处理多个概念，例如将新物体与某种艺术风格结合，或一次加入两个新物体，既支持联合训练，也支持权重增量合并。仓库提供了CustomConcept101数据集、评估提示、预训练检查点，并已集成到Hugging Face diffusers，便于复现。需要注意的是，训练脚本依赖GPU环境，本质上属于研究代码，而非开箱即用的产品。