qlora

收录理由

QLoRA 适合那些想在自有数据上微调大模型、却缺少多卡集群的研究者。它把模型主干冻结并量化到 4 位，梯度只经过低秩适配器回传，从而在单张 48GB 显存的 GPU 上训练 65B 参数的模型，内存占用大幅下降，同时任务表现基本接近全精度微调。代码直接整合了 Hugging Face 的 transformers、PEFT 和 bitsandbytes，沿用熟悉的 PyTorch 工作流，不需要另起炉灶。仓库里带 LLaMA 2 的可运行脚本、多个指令数据集示例，以及训练好的 Guanaco 适配器权重和超参配置，照着可以复现结果。不过要清楚，这是随论文发布的研究代码，不是持续维护的产品，用之前得花时间读 README，并针对自己的数据格式和硬件调整训练循环。