reformer-pytorch

收录理由

Reformer 架构用局部敏感哈希近似替代了精确注意力，让长上下文 Transformer 变得切实可行，而这个库是在 PyTorch 里落地该方案的一个可靠选择。它既提供了完整的语言模型，也把可逆编码器和 LSH 注意力拆成了独立类，你可以只取需要的部分，不必从头复现论文。这种拆分同时让哈希、可逆层和分块之间的配合关系变得清晰，适合当作参考实现。可调参数覆盖面很广，从旋转位置编码、轴向位置编码到持久化记忆键和掩码都有，方便探索不同设计选择。如果你需要在中等显存上处理 8k 到 16k token 的序列，先试试它再决定是否自己造轮子，会是更省事的路径。