Chinese-ELECTRA

收录理由

面向中文自然语言处理任务的团队，这个来自哈工大讯飞联合实验室的发布值得纳入微调候选。项目提供多种尺寸的ELECTRA模型，其中small版本在参数量仅为BERT-base十分之一的情况下，仍能达到与之相当的性能水平。模型基于大规模中文语料训练，后续推出的180G版本还扩充了CommonCrawl的高质量数据。用户既可通过Hugging Face Transformers加载，也支持PaddleHub方式接入，能作为文本分类、阅读理解、序列标注等任务的主干网络。此外，针对司法领域专门训练了基于法律文书数据的版本，处理相关场景时尤为顺手。仓库附有基线结果与微调说明，便于评估ELECTRA相对于常见中文BERT类编码器在具体任务上的取舍。