Linly

收录理由

做中文大模型相关工作的团队，往往需要先在英文模型上做词表扩充和二次预训练，才能让模型顺畅处理中文。这个项目直接把这条路走完了：基于LLaMA和Falcon底座，扩展词表后用中文及中英混合语料继续预训练，拿到的权重就能直接用于中文生成、信息抽取和问答，不必再从头训练。除此之外，Linly-OpenLLaMA是另起炉灶、用约1TB中英文语料从零训练出来的，分词器专门针对中文优化，而ChatFlow对话版本则是在大规模多语言指令数据上微调得到。项目在可复现性上做得相当透明，数据准备、全参数训练和评估的完整流程都有代码，权重同时提供TencentPretrain和HuggingFace两种格式。想找开箱即用的中文模型，或者希望深入查看甚至重跑训练过程的团队，这份代码库都是很扎实的参考。