ChineseGLUE

收录理由

ChineseGLUE把GLUE基准的思路搬到了中文上，把评估数据集、基线分数和预训练检查点打包在一起，给中文语言理解任务定了一个可参照的尺度。任务覆盖面比单一模型评测要广：新闻分类、句子对相似度、自然语言推理、情感分析、命名实体识别、抽取式阅读理解都有，简体繁体都照顾到了。排行榜上的表格把BERT、RoBERTa、ERNIE、XLNet、ALBERT这些变体在不同任务上的表现列得清清楚楚，挑预训练起点的时候不用自己从头跑一遍对比实验。做中文NLP系统的团队，直接拿它提供的数据集链接和格式说明就能省掉四处找语料、搭评测流程的功夫。这个项目后来主要搬到了CLUE基准上，但经典版仍然保留着最初那套任务集的完整样貌，作为快照看挺连贯。