LLM-Adapters

收录理由

这份代码对应一篇EMNLP 2023论文，讲的是大语言模型的参数高效微调，实用性很强：不用为每种适配器重写训练循环，就能直接对比不同方法的效果。LoRA、瓶颈适配器、并行适配器、前缀微调、P-tuning和提示微调都集成在同一个接口里，而这个接口是在HuggingFace PEFT库的基础上扩展出来的，所以把任务从LLaMA换到OPT、BLOOM或GPT-J，只需要改一个参数，不用改代码。仓库里还附带了math10k和commonsense170k两个数据集，以及论文里的基准测试表，拿来当评测材料或者验证自己实验结果的参照都很方便。不过它更适合当作做实验时的参考实现，而不是一个持续维护的生产级SDK，项目从2024年初之后就没有再更新了。