#298 · 主分类： 计算机视觉
Transformer-Explainability
attention-matrix
attention-visualization
bert
bert-model
cvpr2021
deep-learning
explainability
perturbation
transformer-interpretability
vision-transformer
visualize-classifications
vit
[CVPR 2021] 官方PyTorch实现，用于超越注意力可视化的Transformer可解释性，一种通过基于Transformer的网络可视化分类的新方法。
项目最后更新：01/24/24
GitHub Stars
2.0K
Forks数量
261
贡献者数量
2
许可证
MIT
收录理由
用过 Vision Transformer 的人大多有这种挫败感：直接看注意力图，只能看到分散的 patch 权重，根本看不出模型到底靠什么做出判断。这个仓库是 CVPR 2021 那篇论文的官方 PyTorch 实现，思路是用相关性分数替代原始注意力，让信号沿网络反向传播，最终得到真正影响分类的热力图。附带的 Colab 笔记本非常省事，加载预训练的 ViT 或 DeiT，丢一张图进去就能看到模型关注的区域；另外还有一个 BERT 的情感分析示例。无论你想审计模型行为，还是排查某次预测为何出错，它都是一个独立、好用的基线工具。作者也提醒，如果要处理 encoder-decoder 或多模态模型，应该去看他们更新的 Transformer-MM-Explainability 仓库。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。