mergoo

收录理由

当一个团队手里拥有同一基础模型的多个微调版本时，往往既想兼得各个版本的长处，又不愿意为了并行运行它们而付出额外的推理成本。Mergoo 的做法是让 Llama、Mistral、Phi3 或 BERT 的这些检查点通过同一个网络进行路由选择，之后你既可以单独微调路由器，也可以对整个合并后的模型做微调，并且直接使用 Hugging Face 官方的 trainer 接口就行。它覆盖了实际工作中最常遇到的两种场景：一种是把完全微调过的专家模型合并成混合专家（MoE）结构，另一种是在已有的 LoRA 适配器之上加一个可学习的路由器。库本身用 pip 就能安装，与 PEFT 和 SFTrainer 兼容，每种合并方法都附带了对应的 notebook 示例，这能让你的第一个原型快速跑起来，而不是一头扎进路由层的科研项目里。如果你正在对比不同的模型组合策略，它内置了可配置的专家数量和路由层数，方便你直接调整实验。