Mengzi

收录理由

孟子系列模型围绕一个朴素的想法展开：保持模型结构与常见预训练模型一致，让团队能直接替换现有方案。其中BERT系列与原始BERT结构相同，可以无缝接入已有的中文文本处理流程，同时提供了一个60M参数的蒸馏版本，适合对资源更敏感的场景。仓库中还包含用于生成任务的T5模型、基于中文语料训练的GPT和BLOOM变体、面向金融领域的BERT，以及多模态Oscar模型。最值得关注的是多任务T5，它通过提示方式支持实体抽取、情感分类、关系抽取等任务，开箱即用且具备零样本和少样本能力。所有模型均可通过Hugging Face Transformers或PaddleNLP加载，在不同数据上尝试多种尺寸的模型，配置成本很低。