mean-teacher

收录理由

如果你的图像数据里只有一部分带标注，这个参考实现值得花时间看看。它让一个学生网络和一个教师网络同时训练，教师的权重是学生权重的指数滑动平均，再在两者输出之间加上一致性代价，这样未标注的样本也能参与学习。项目随NIPS 2017论文提供了TensorFlow和PyTorch两套代码，PyTorch版本写得很符合常规用法，想换自己的模型和数据加载器并不费劲。仓库里还保留了只用少量标签在ImageNet和CIFAR-10上跑出的实验结果，拿来做半监督基线的对照很方便。方法本身很简洁，也不绑定特定网络结构，既可以用来理解一致性正则化的思路，也能作为更大规模实验的起点。