TopOpenSourceAI
EN

#581 · 主分类： 教育与研究

Awesome-Knowledge-Distillation-of-LLMs

alignment compression data-augmentation data-synthesis feedback instruction-following kd knowledge-distillation large-language-model llm multi-modal self-distillation self-training supervised-finetuning survey

本仓库收集了《大型语言模型知识蒸馏综述》的相关论文。我们将知识蒸馏分为知识 elicitation 和蒸馏算法，并探讨了 LLM 的技能与垂直蒸馏。

项目最后更新：03/09/25

在 GitHub 查看

GitHub Stars

1.3K

Forks数量

73

贡献者数量

2

许可证

Other

收录理由

这份论文清单对任何想让小模型从大模型身上学习的人来说，都很难找到更合适的参考。它是一篇被广泛引用的综述《A Survey on Knowledge Distillation of Large Language Models》的配套资源，作者把相关文献梳理成知识提取和蒸馏算法两大块，还单独开辟了技能与垂直蒸馏的章节，想找哪类技术都能直接跳过去，不必在原始搜索结果里翻找。清单每周刷新一次，而蒸馏方法层出不穷，这种更新频率确实贴心。综述论文本身提供了概念框架，让这份合集既能当作了解当前技术全貌的地图，也能作为训练或压缩自己模型的入门起点。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。

同类热门项目

prompts.chat

前身为 Awesome ChatGPT Prompts。分享、发现和收集社区提示词。免费且开源——可自托管，为您的组织提供完全隐私。

#1

JavaGuide

Java 面试 & 后端通用面试指南，覆盖计算机基础、数据库、分布式、高并发、系统设计与 AI 应用开发

#2

system-prompts-and-models-of-ai-tools

精选流行AI助手和编码代理的系统提示、内部工具和AI模型集合。

#3

30-seconds-of-code

编程文章，助你提升开发技能

#4

generative-ai-for-beginners

21节课，开始使用生成式AI构建

#5