pytorch-openai-transformer-lm

收录理由

想了解原始GPT模型的实际构造，这个仓库是很好的起点。它是OpenAI那篇GPT论文所附TensorFlow代码的PyTorch移植版，最有价值的部分是权重导入脚本——它能把官方预训练权重完整迁移到PyTorch模型里，使模型表现与论文公布的结果一致。仓库还复现了论文中改进的Adam优化器，带固定权重衰减和调度学习率，并提供了分类头与训练脚本，能够复现ROCStories完形填空的准确率。由于它诞生于Hugging Face transformers库出现之前，后者基本取代了它的功能，所以更适合作为教学参考，而非生产环境可用的软件。