#110 · 主分类： 基础模型
ru-gpts
deep-learning
gpt3
language-model
russian
russian-language
transformers
俄语 GPT3 模型
项目最后更新：12/12/22
GitHub Stars
2.1K
Forks数量
433
贡献者数量
5
许可证
Apache-2.0
收录理由
俄语文本处理的项目可以从这套预训练模型直接起步：仓库提供了从紧凑的GPT-2 large到参数量13亿的ruGPT3XL等一系列自回归Transformer权重，序列长度覆盖1024到2048个token，并混合了稠密与稀疏注意力结构。无论是快速跑通文本生成实验，还是针对特定俄语领域语料做微调，这些权重都能派上用场。每个模型都附带了Colab示例，分别演示生成和微调流程，方便你在真正接入自己的系统前先判断输出质量和训练表现。想要一个现成的俄语语言模型基线，又不想从零预训练，从这里拿现成权重做适配是个省力的选择。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。