wise-ft

收录理由

微调像CLIP这样的大型视觉语言模型，通常能提升训练数据上的准确率，但遇到分布偏移时性能可能下滑。WiSE-FT方法通过一个混合系数，在零样本与微调后的权重之间做插值，绕开了这个两难选择。这样既保留了大部分分布内收益，又恢复了零样本模型在分布外的大部分鲁棒性，而且微调和推理阶段都不增加额外计算。这是论文的官方参考实现，代码紧凑易读，如果你想在自己的CLIP式微调流程里应用这种权重空间集成技巧，尤其是关心分布偏移鲁棒性的场景，这是一个很好的起点。