Chinese-XLNet

收录理由

中文XLNet提供了基于排列机制的预训练模型，与多数中文自然语言处理项目采用的掩码式BERT编码器不同，它通过自回归方式捕捉双向上下文信息。项目包含12层基础版和24层中间版两种规格，后者参数量超过两亿，训练语料为54亿词的大规模通用数据，与哈工大讯飞联合实验室发布的中文BERT使用相同数据来源。模型权重可通过Hugging Face Transformers库快速加载，只需少量代码即可针对抽取式阅读理解、情感分类等任务进行微调。仓库文档详细说明了预训练过程、下游任务微调参数，并给出了与中文BERT的基线对比结果，既适合作为实际项目的起点，也是比较不同编码器方案时的参考材料。