Show-o

收录理由

Show-o 来自新加坡国立大学 Show Lab 与字节跳动，把图像和文本的理解、生成任务揉进同一个 Transformer 里。一个模型既能给照片写说明，也能回答视觉问题，还能根据提示词直接画出新图，不用在多个系统之间来回切换。文本部分用自回归方式解码，图像 token 则靠离散扩散生成；后续的 Show-o2 把同一套思路扩展到视频和混合模态，提供了 1.5B 和 7B 两档规模。如果你不想走“视觉编码器加扩散管线”的老路子，而是想试试原生统一多模态模型，这个仓库给出了训练和推理代码、预训练权重，还有一个 Hugging Face 在线演示，动手前可以先体验。它对于理解因果注意力与全注意力如何在不同 token 类型上共存，也是一份不错的参考资料。代码偏研究型，附有配置和消融实验表，不是拿来即用的产品，但正因如此，想深入琢磨架构的话，这里是个合适的起点。