knowledge-distillation-pytorch

收录理由

这个仓库提供了一个清晰且可直接运行的路径来学习知识蒸馏，通过在CIFAR-10数据集上训练小型学生模型并学习大型教师模型的输出，给出了两个具体示例：一个五层卷积网络从ResNet-18中蒸馏，另一个ResNet-18从ResNeXt-29中蒸馏。每个实验的所有配置都统一存放在params.json文件中，调整温度或蒸馏权重只需快速编辑文件，无需处理冗长的命令行参数。仓库还包含超参数搜索和结果汇总的脚本，让繁琐的调参过程变得可重复，并提供了预训练教师模型的下载链接。对于研究模型压缩或希望复现经典蒸馏实验的人来说，无需从零搭建整个系统就能获得具体实验数据，非常适合动手实践。