x-transformers

收录理由

x-transformers 面向的是那些习惯用 PyTorch 自行搭建 transformer 结构的开发者，而不是直接微调现成模型的用户。它把常见的编码器、解码器、编码器-解码器结构，以及视觉 transformer 的封装都做成了小而清晰的模块，同时还汇集了来自多篇论文的实验性注意力变体。对想尝试 flash attention 或其他新式注意力机制、新位置编码方案的工程师来说，这省去了逐层手写的麻烦。代码体量不大，容易通读和改动，通过 pip 就能装到 PyTorch 环境里。对于已经熟悉 PyTorch 的团队，它是从想法到可用模型之间一条轻便的路径，少了很多繁琐的配置工作。