mdistiller

收录理由

做模型部署时，把笨重的图像分类网络压小往往要拿精度来换，mdistiller就是冲着这个难题来的。仓库里集成了作者团队发表在CVPR 2022上的解耦知识蒸馏（DKD）以及ICCV 2023上的面向蒸馏的训练器DOT，两套方法的官方代码都在这。核心思路是让轻量学生网络在精度上尽量贴近大教师网络，同时在ImageNet、CIFAR-100这些常用基准上提供了可复现的配置，还包括基于Detectron2的目标检测流程。搞工程的同学想给模型瘦身，可以直接跑这些配置，和普通KD以及FitNet、AT、ReviewKD这些老方法做对比，不用自己从头复现论文。项目里还留了干净的蒸馏器接口，想把自己的方法接进来也方便。需要注意的是，这是个研究向的工具包，不是开箱即用的服务，动手前得自己配环境、调脚本。