xlnet-Pytorch

收录理由

这个用PyTorch重写的XLNet实现，目的不是给你一个能直接上线的模型，而是把论文里的架构讲清楚。如果你正在啃XLNet那篇论文，代码会带着你一步步走通排列语言建模、Transformer-XL的记忆机制，还有双流自注意力，而且配了一个小规模的预训练示例，单机就能跑，或者丢到Colab里也行。命令行参数跟论文里的超参数是对应的，你可以自己调序列长度、复用长度、掩码分组，然后观察这些改动怎么影响训练过程。它没法替代官方XLNet发布版，也不是拿来微调的现成工具，所以更适合当成学习辅助和核心算法的参考。对那些觉得原始实现太绕的研究者和学生来说，从这里入手会轻松不少。