bottleneck-transformer-pytorch

收录理由

这个项目把CVPR 2021那篇Bottleneck Transformer论文的核心模块用PyTorch实现了一遍，代码量不大，读起来很清爽。它提供的BottleStack组件可以直接插进torchvision的ResNet里，几行代码就能拼出一个BotNet分类器，想对比混合卷积-注意力骨干网络和普通ResNet的差异时，这是个很顺手的起点。实现里能看到相对位置编码和多头注意力是怎么嵌进卷积特征图的，对理解这类结构很有帮助。不过它本质上是研究参考代码，不是维护完善的训练框架，真要拿来跑实验，得自己动手调整适配，不能指望开箱即用。