OpenDelta

收录理由

从头训练一个大型预训练语言模型成本高昂，即便只做全量微调，也常常超出单块普通显卡的承载能力。OpenDelta 的做法是把骨干网络冻住，只更新一小部分可训练参数，这正是 LoRA、前缀微调和适配器背后的思路。你可以灵活指定这些模块挂在哪些位置，默认配置通常无需改动模型代码就能生效，哪怕你的自定义结构里嵌套了受支持的模型，也能直接套用。对于想横向对比不同调参策略的研究者，或者预算有限却要跑大模型的团队，这套工具都很顺手。如果你本来就在用 Hugging Face transformers，从全量微调切换到这种轻量调参的路径很短，值得一试。