zero_nlp

收录理由

做过中文NLP训练的人都知道，真正的耗时往往不在模型代码，而在数据处理这条暗线上。这个项目把GPT-2、CLIP、ChatGLM、LLaMA、GPT-NeoX、Dolly以及图文生成等各类架构的完整训练流程都整理成了可跑的示例，从原始数据清洗、预处理到训练，甚至部分模型的部署，每一步都配了图解，照着走就能摸清门道。对显卡资源有限的团队来说尤其实用，它展示了如何把多张消费级显卡串联起来做大模型训练和推理，还提供了词表裁剪和扩充这类接地气的工具。整套方案基于PyTorch和transformers构建，熟悉这套生态的开发者可以直接把里面的思路搬到自己的项目里，省去不少摸索的功夫。