Chinese-BERT-wwm

收录理由

做中文NLP的团队，很多都把这一套预训练权重当作手边常备的工具。项目里不光有BERT-wwm和扩展版，还提供了RoBERTa-wwm-ext的多个规格，包括大号checkpoint，以及轻量的RBT3、RBTL3，想兼顾速度和精度时，按需选尺寸就行。所有模型都能直接通过transformers库加载，做分类、序列标注这类下游任务的微调非常顺手。小模型拿来做分词、提取embedding，或者给别的模型当老师，也都挺合适。背后有同行评审的论文和完整的预训练细节说明，用起来心里有底，不是那种来路不明的黑盒，作为基线很踏实。