litgpt

收录理由

如果团队想把开源权重模型真正用起来，而不只是调用现成接口，LitGPT 会让人少走很多弯路。它用单文件、从零实现的代码覆盖了 Llama、Gemma、Qwen、Mistral、Phi 等二十多种主流架构，同时附带预训练和微调的现成方案，LoRA、QLoRA、Adapter 这些常用技术开箱即用。代码本身非常透明，没有层层抽象，遇到问题可以直接读源码；配合 Flash Attention 和 FSDP，既能在单张消费级显卡上跑，也能扩展到上千节点的集群。推理也复用同一套模型代码，支持低至 fp4/8 的量化，微调完就能直接验证和上线，不需要切换工具。对有 PyTorch 基础、又嫌大规模训练工程太繁琐的开发者来说，这个项目很值得优先尝试。