Transformer-MM-Explainability

收录理由

调试一个需要处理图像的Transformer模型时，无论是做目标检测、视觉问答，还是CLIP式的零样本任务，能直观看到模型实际关注的区域会很有帮助。这个仓库是ICCV 2021官方PyTorch实现，对应论文提出的Generic Attention-model Explainability方法，它能把注意力头和层转化成输入图像上的热力图。仓库里带有DETR、LXMERT/VQA、CLIP和ViT的可运行notebook示例，你可以直接换用自己准备的图片，有时还能附上自由形式的问题，不必从零搭建演示环境。因为方法本身不依赖特定网络结构，代码也能作为参考，帮你为自己训练的其他Transformer模型添加基于注意力的解释功能。不过要调整好预期：这是一套研究性质的脚本和notebook集合，并非持续维护的库，适合作为起点来使用，不适合直接部署到生产环境。