KoELECTRA

收录理由

KoELECTRA 是面向韩语的 ELECTRA 预训练模型，提供 base 和 small 两种规格，训练数据为 34GB 韩语文本。模型权重托管在 Hugging Face 上，通过 Transformers 库的 from_pretrained 方法即可在 PyTorch 或 TensorFlow 中直接加载，省去自行预训练的繁琐。仓库详细记录了预训练配置，包括 TPU 使用方式和超参数，复现或在此基础上扩展都比较顺手。同时附带了在标准韩语基准上的微调结果，对于在 v1 和 v2 版本之间做选择、用于情感分析或命名实体识别等任务时，是很有价值的参考。这是一个聚焦的模型发布，而非通用框架，实际使用时需要针对自己的下游任务进行微调。