ColossalAI

收录理由

Colossal-AI 是一套面向大规模模型训练与微调的系统级工具，它把分布式训练中最棘手的部分——数据并行、张量并行、流水线并行、序列并行，以及 ZeRO 风格的优化器分片——封装成简洁的 Python 接口，直接嵌入 PyTorch 生态。这样一来，小团队也能把模型分散到多张 GPU 上，而无需从零编写大量底层基础设施代码。它还提供了激活卸载、低精度计算等省显存手段，让现有硬件能容纳更大的模型，并附带推理支持，方便把训练好的模型部署上线。项目文档齐全，配有示例和论文，对刚接触多卡训练的工程师来说，是一个可以直接上手的生产级起点。