GPT2-Chinese

收录理由

这套代码是训练或微调中文生成式语言模型时一个很实用的起点。它在HuggingFace Transformers的GPT-2基础上做了适配，让模型能直接处理中文输入，并提供了字级、词级和BPE三种分词方式，你可以根据自己语料的粒度灵活选择。仓库还附带了几款针对特定体裁的预训练模型，比如古诗、对联、歌词、文言文和通用中文，拿到手就能直接生成可用文本，不必先投入大量算力从头训练。作者也坦诚地说明，这个项目最初是自学PyTorch时的练手之作，后续维护有限，生产环境使用前需要自己评估风险；但它的训练脚本仍然是让中文GPT-2跑通大规模语料的一份清晰参考。对于正在探索中文创意写作或内容生成的团队来说，这个项目是一个值得参考的基线。