bitsandbytes

收录理由

在单张显卡上训练或部署大模型，瓶颈往往在于能把权重压缩到多小的内存里。bitsandbytes 正是为 PyTorch 准备的那套量化数学工具，让这件事变得可行。它提供 8 位优化器、LLM.int8() 推理，以及 4 位 QLoRA 式训练，模型占用的内存可以降到全精度下的几分之一，而性能几乎不受影响。它不是开箱即用的完整应用，而是更底层的组件，比如 Linear8bitLt、Linear4bit 和 optim 模块，因此被 QLoRA 这类上层工具所依赖。如果你本来就在 PyTorch 生态里工作，希望找一个经过验证的量化训练或推理基础，而不是再套一层抽象，那它是个扎实的选择。