AngelSlim

收录理由

如果你的团队需要把大模型塞进有限的GPU显存再上线服务，AngelSlim值得一试。它把量化、推测解码和蒸馏整合进同一套工具链，省去了在多个独立项目之间来回拼接的麻烦，并且覆盖Qwen、DeepSeek、混元、GLM等当前主流模型家族。选定模型后，你可以直接采用FP8或INT4这类量化方案，拿到可运行的权重和配套脚本，能顺利接入vLLM或llama.cpp等推理服务栈。工具在低位压缩上做得比较深入，最低支持到1.25比特，同时包含让压缩后模型保持响应速度的解码加速技巧——当你试图把前沿规模的checkpoint塞进有限显存时，这一点很关键。另外，它也是个方便对比不同压缩方案优劣的地方，能帮你在正式投入生产前做出更踏实的决定。