Efficient-LLMs-Survey

收录理由

这份仓库是一篇经过同行评审的大语言模型效率综述的配套资料，论文发表于TMLR 2024。它把数百篇论文按模型-centric、数据-centric、框架-centric的技术体系做了归类，细分到量化、剪枝、蒸馏、参数高效微调、投机解码、KV缓存优化、混合专家架构以及长上下文方法等子方向，而不是简单罗列文献。对想选效率优化方案的工程师来说，这样的结构能让你在动手前先看清整个设计空间。维护者接受新论文的pull request，也接受已投稿到会议或期刊的预印本更新，所以内容会跟着领域进展走。无论是纠结量化还是蒸馏，还是想搞清LLM效率研究的分类脉络，这里都是不错的起点。