mergekit

收录理由

mergekit 直接在权重空间里把两个或多个预训练语言模型合并成一个检查点，这样你就能同时获得各个模型的长处，既不需要重新训练，也不用像集成方法那样同时跑多个模型。你可以把一个聊天微调模型和一个强大的基础模型混在一起，或者把某个任务专用的微调模型融入通用模型，合并后的模型会保留两边的能力。这个工具采用外存计算的方式，即便很复杂的合并也能在纯 CPU 或显存低至 8GB 的 GPU 上完成。对于硬件条件有限的个人开发者和小团队来说，这非常实际，也让很多喜欢自己折腾模型的爱好者一直愿意用。