LoRA

收录理由

LoRA 是低秩适配这一经典微调技术的原始参考实现，如今它已成为大语言模型高效微调的主流做法之一。其核心思路是冻结原有权重，只学习若干对低秩分解矩阵，从而只需训练极小一部分参数，却几乎不增加推理时的额外延迟。仓库直接用 RoBERTa 和 DeBERTa 在 GLUE 基准上的对比表格，把这种方法的收益与取舍摆得明明白白，附带的 GPT-2 生成示例和 GLUE 任务代码也都能直接跑起来，还提供了可下载的检查点。loralib 这个包本身十分精简，读起来很轻松，适合想弄懂原理或把它移植到自己的 PyTorch 模型里的开发者。若你更想要一个持续维护、兼容性更广的现成方案，Hugging Face 的 PEFT 库已支持 LoRA，但这份原始代码依然是对设计初衷和实验结果最清晰的呈现。