self-attention-cv

收录理由

这个PyTorch库把视觉Transformer里反复出现的自注意力模块集中到了一起，省去每次重新实现的麻烦。里面有多头注意力、Transformer编码器、轴向注意力、Vision Transformer、TransUNet编码器、瓶颈注意力块，还有一维和二维位置嵌入，代码用einsum和einops写成，可读性不错。每个模块都附有简短可运行的示例，你可以在读论文之前先拿自己的张量试试效果。作者还写了配套文章，把每个机制背后的数学讲得很清楚，边做原型边学也挺合适。不过项目有一段时间没更新了，更适合当作参考实现来在此基础上继续开发，而不是当作生产环境里锁定版本的依赖。