Awesome-Knowledge-Distillation

收录理由

这份知识蒸馏文献清单对做模型压缩的研究者和工程师来说，是一份相当实用的导航图。它把大约650篇论文按主题整理成不同板块，比如从logits中提取知识、从中间层提取知识、基于图的方法、自蒸馏，以及和GAN、元学习、强化学习、AutoML等方向的交叉研究，想找哪类技术都能直接跳过去。每一条都标了发表会议和arXiv编号，不少还附了官方代码，复现方法时能省下不少找资料的功夫。清单也覆盖了NLP、推荐系统、剪枝量化等应用场景，让人看到蒸馏在图像分类之外的实际用途。无论你是要开始一个蒸馏项目，还是打算写相关综述，这份资料都能当作扎实的起点，而不是一堆随意堆砌的链接。