#54 · 主分类： 基础模型
CPM-Live
deep-learning
multi-task-learning
natural-language-generation
natural-language-processing
natural-language-understanding
nlp
parameter-efficient-learning
pretrained-language-model
开源大模型的实时训练
项目最后更新：07/07/26
GitHub Stars
501
Forks数量
40
贡献者数量
7
许可证
Other
收录理由
CPM-Live 是一份关于 CPM 双语模型真实训练过程的完整记录，而不是事后整理好的发布版本。项目把训练计划和每日日志都原样保留下来，还有每个阶段的检查点可供随时下载，从 CPM-Ant、CPM-Ant+ 一路到参数规模达百亿的 CPM-Bee。顺着这些过程性的资料，能看清预训练数据的取舍、网络结构的设计以及规模扩展时的实际决策，而不只是看到最终训练好的参数。CPM-Bee 基座模型支持微调，允许商用，能处理中文和英文的文本补全、翻译、问答和摘要等任务。对于开发面向中文场景的 NLP 应用，或是想对比开源双语基座模型的团队来说，这套模型和记录下来的训练方案都很有参考价值。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。