LLM-FineTuning-Large-Language-Models

收录理由

这份仓库把大模型微调从理论拉回到实操，里面是一整套可以直接跟着跑的 Jupyter 笔记本，覆盖 Llama-3、Mistral 7B、Falcon、Phi 和 CodeLlama 等主流开源模型，用的方法包括 PEFT、QLoRA、GPTQ、DPO 和 ORPO。每个笔记本都配了对应的 YouTube 讲解视频，对刚接触参数高效微调的人来说，相当于有人手把手带着走一遍，不用自己翻文档拼步骤。除了微调案例，还专门解释了 LoRA 的秩、旋转位置编码、量化机制和聊天模板这些底层细节，能帮你理解代码背后的原理。对于只有单张 GPU 的独立开发者或小团队，这份资料放在手边，比单纯查官方文档更直观，省去不少试错时间。