guwenbert

收录理由

现代自然语言处理模型几乎都围绕当代汉语构建，古文这一语言形态长期缺乏可用的预训练权重。GuwenBERT以RoBERTa为骨架，用超过一万五千部古籍、总计约十七亿字符的语料训练，词表也直接从古文高频字中提取，因此对文言文的用字和句法习惯有更贴合的表示。模型通过Hugging Face Transformers加载，接入微调流程很直接，不需要额外改造。作者在古文命名实体识别任务上报告了比主流中文RoBERTa高6.3%的效果，并且大约三百步训练就能达到后者的最终水平，这对标注数据稀缺的小规模项目尤其有价值。处理史料的断句、标点恢复和专名标注时，它省去了把现代语言模型硬套到另一种语域上的麻烦。