gpt2-ml

收录理由

中文文本生成领域里，真正开源的大规模预训练模型一直不多，gpt2-ml 是少数直接放出 1.5B 参数中文 GPT-2 权重的项目。它提供两套模型，分别基于 CLUE 词表和 BERT 风格的两万多个 token 词表，方便你根据下游任务已有的分词方式挑合适的来用。训练脚本源自 Grover 并支持 TPU，想在自己数据上继续预训练的话可以直接改。配套的 Colab 笔记本点几下就能让这个 1.5B 模型跑起来生成文本，动手试效果的成本很低。不过项目自 2023 年起就不再更新，技术栈停留在 TensorFlow 时代，更适合愿意自己改老代码的研究者，而不是需要长期维护依赖的团队。