#781 · 主分类: 教育与研究

model-soups

模型汤:对多个微调模型的权重进行平均,可以在不增加推理时间的情况下提高准确率。

项目最后更新:07/15/24

GitHub Stars

522

Forks数量

51

贡献者数量

2

许可证

MIT

收录理由

当你在同一套模型架构上反复微调出多个版本,又想把这些版本的准确率提升合到一起,同时不肯增加推理开销时,这个仓库能直接当作起点。它把论文里的两种主要做法都实现了:一种是均匀汤,把所有权重简单平均;另一种是贪心汤,只有新加的模型能提高验证集准确率时才把它放进来。整个流程被拆成了下载、评估、跑汤、画图这几个独立的命令,你可以只重跑自己关心的那一段。另外仓库附带了一个在CIFAR-10上演示的Colab笔记本,想快速试一下这个思路适不适合你的问题,不用先折腾完整的数据管线,打开笔记本就能体验。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目