linear-attention-transformer

收录理由

这是一个紧凑的PyTorch实现，将Transformer中常见的二次复杂度注意力替换为线性复杂度变体，特别适合处理超长序列的语言模型训练或微调，因为这类场景下内存和计算开销会随序列长度急剧增长。它混合了局部(QKᵀ)V注意力和全局Q(KᵀV)注意力，使得模型在保持对整个序列感受野的同时，不必付出完整的O(n²)代价。通过pip即可安装，包内提供了现成的语言模型和普通Transformer类，还带有可逆层、前馈分块、GLU变体以及轴向注意力等调节选项。这个代码库偏向研究用途，并非持续维护的生产级框架，但对于正在原型设计高效长上下文架构、或想对比线性注意力与标准Transformer性能的工程师和研究者来说，是一份很有价值的参考。