ChatGLM-finetune-LoRA

收录理由

ChatGLM-6b 本身是个能用的中文对话模型，但要把整个模型从头微调一遍，成本实在不低。这个项目换了个思路，用低秩适配（LoRA）来做微调，只训练一小部分参数，显存占用能压到 24G 左右，一张 RTX 3090 就能跑起来。代码把整个流程都串好了：插入 LoRA 层、构造 prompt-completion 数据集、用 Hugging Face accelerate 启动训练，还支持多卡和 DeepSpeed。项目里也附带了在 Stanford Alpaca 数据集上微调好的权重，想先看看效果再自己跑的话，可以直接拿来做参考。对于想给 ChatGLM 这类模型做指令微调的人来说，这份代码提供了很具体的上手路径，训练和保存加载的示例都写得比较清楚，照着改就能用。