MIGC

收录理由

多数文生图模型在面对一条提示词要求生成多个不同物体时，常常会混淆各物体的属性、漏掉某些对象，或者把物体随机散落在画面里。MIGC 作为 CVPR 2024 的 Highlight 论文，提出了一种更直观的控制方式：你可以为每个实例画一个框或蒙版，从而精确指定每个物体的位置和外观。它提供了属性与数量控制，还附带一个用于评估多实例生成效果的基准，以及适配 Stable Diffusion 1.4 的预训练权重。项目配有 WebUI 和 Colab 在线演示，方便你在接入自己的流程之前先上手体验。后续的 MIGC++ 工作发表在 TPAMI 上，新增了迭代编辑模式，能在保持对象身份一致的前提下逐步优化生成结果。需要留意的是，代码仅限非商业研究用途，投入实际项目前请先确认许可条款。