TF-ICON

收录理由

TF-ICON 是 ICCV 2023 的官方实现，提出一种无需训练即可完成跨域图像合成的方法。使用时，你提供背景、前景物体、物体掩码和放置掩码，它会把真实图像反演到潜空间，再通过预训练的 Stable Diffusion 模型进行融合，整个过程不需要微调或针对单个实例的优化。这种免训练的设计，让它在扩散模型的图像编辑场景中很有参考价值。项目还引入了“异常提示”技巧，能更准确地将真实图像反演为潜表示，这个技巧在其他编辑流程里也能独立使用。需要说明的是，这是一个研究型代码库，不是开箱即用的产品，你需要自己运行脚本、管理模型权重，不过项目文档写得很清楚，也附带了基准数据，可以复现论文中的实验结果。