llm-compressor

收录理由

用 vLLM 部署开源模型，瓶颈常常卡在显存上，这个库就是为了解决这个问题而生的。你只需要把一个 Hugging Face 模型交给它，从内置的 GPTQ、AWQ、SmoothQuant、AutoRound 以及更新的基于旋转的量化方法中挑一种，再用自己的一部分数据做校准就行。压缩范围覆盖权重、激活、KV 缓存和注意力层，最终输出的是 compressed-tensors 格式，vLLM 可以直接加载，拿到手就是能部署的检查点，而不是停留在研究阶段的产物。对那些想削减云成本、或者在现有 GPU 上跑更大模型的团队来说，这是从全精度检查点到精简版最直接的路，不用自己手写校准代码。