blended-latent-diffusion

收录理由

这个仓库是SIGGRAPH 2023论文《Blended Latent Diffusion》的官方实现，解决的是图像局部编辑的难题：只改动用户指定的区域，其余部分保持原样。使用时提供一张图、一个覆盖待改区域的蒙版，再加上一句文字描述，模型就会只重绘蒙版内的内容来匹配描述。代码里既有原始的Latent Diffusion流程，也有基于Diffusers的路径，可搭配Stable Diffusion v2.1或SDXL使用，方便按硬件条件选择底模。它还带有一个重建步骤，能在编辑后恢复背景细节，减少蒙版编辑常见的伪影。虽然这是研究代码，不是开箱即用的工具，需要自己调整，但如果你想做文本引导的局部编辑，或者想研究潜在空间扩散模型如何处理蒙版区域，这个仓库是很好的参考。