sru

收录理由

在PyTorch里训练循环模型时，LSTM的吞吐量往往成为性能瓶颈，SRU正是为突破这一限制而设计的。它通过重新组织循环结构，让大部分计算可以并行执行，从而在保持RNN序列建模能力的同时，逼近卷积层的处理速度。其接口与nn.LSTM非常接近，替换进现有代码只需少量改动，安装方式也与普通PyTorch包无异，自带CUDA内核。原论文报告相比LSTM有10到16倍的速度提升，后续的SRU++变体则在快速循环之上引入注意力机制，进一步降低语言模型训练的计算开销。如果你的项目里循环层主导了延迟或训练成本，这个库值得拿到自己的数据上实测对比。