bertviz

收录理由

想弄明白Transformer模型里的注意力到底是怎么工作的，光看数字总有点隔靴搔痒，BertViz就是拿来直接看个明白的工具。它装进Jupyter或Colab笔记本，写几行Python就能用，Hugging Face上大多数模型都支持，BERT、GPT-2、RoBERTa都能接。它给你三个视角：head view看单个注意力头，model view把整个网络所有层的注意力摊开扫一遍，neuron view则细到查询和键向量里的每个神经元，看它们怎么凑出注意力分数。最后一个视角在排查模型为什么老盯着某些词时特别好用。这玩意儿是个教学和检查的工具，不适合扔进生产环境，但要是想把注意力机制讲清楚，很难找到比它更顺手的了。