lambda-networks

收录理由

这个仓库把LambdaNetworks论文里的核心想法打包成了一个可直接安装的PyTorch层。所谓lambda层，是对注意力机制的一种另类改造：它不直接做点积注意力，而是把上下文信息转换成线性函数（也就是论文里说的lambda），再分别作用到每个输入上，从而捕获长距离依赖。你只要几行代码就能把它塞进现有的视觉模型，通过调整几个参数就能设置全局或局部的感受野。论文在ImageNet上以更少的计算量达到了当时的最优水平，这个实现很适合用来复现实验或验证新架构思路。需要注意，它不是开箱即用的分类器，更像一个参考实现。另外社区还提供了Keras移植版，方便TensorFlow用户尝试。