awesome-knowledge-distillation

收录理由

知识蒸馏这个方向，真正关键的想法散落在几十年的论文里，这份清单替你把它们收拢到了一起。从早期的集成方法、Hinton那篇关于暗知识的经典工作，到注意力迁移、无数据蒸馏、序列级蒸馏，每一条都直接链到原始论文。顺着读下来，你能看清这个领域是怎么一步步演变的，比起在搜索结果里翻找，要省事得多——尤其是当你正想把训练好的模型压缩到能在手机或边缘设备上跑起来的时候。它是一份阅读列表，不是拿来安装的工具，所以更适合用来定位具体论文和方法，解决你的压缩或迁移学习问题。