lorahub

收录理由

多数团队每遇到一个新任务，就要重新微调一个LoRA适配器，任务一多，成本就上去了。LoraHub换了个思路：把已经在其他任务上训练好的LoRA模块收集起来，只用目标任务的少量示例做引导，就能把它们融合成一个统一的适配器。它的流程是先组合再适配，搜索模块权重时不需要梯度更新，因此面对新任务时无需增加可训练参数。这个仓库是干净的研究实现，支持pip安装，接口简洁，附带了完整的复现脚本和论文中使用的基于Flan的LoRA候选模块。如果你在探索如何跨任务复用和共享适配器，这份代码是很好的参考，不过它属于研究性质，并非持续维护的生产级服务。