DeepSpeed

收录理由

当单张 GPU 不够用时，DeepSpeed 是许多大模型团队的首选库。它的 ZeRO 优化器把模型状态分散到多个设备上，原本放不下的模型也能训练；内存还是紧张时，还能卸载到 CPU 或 NVMe。同一套代码也覆盖推理：用 DeepSpeed、Megatron 或 HuggingFace 训练出的检查点，无需转换即可直接跑推理，分区、内核注入和量化都自动完成。它还针对混合专家模型和稀疏注意力做了优化，这正是参数量跨过十亿大关后训练变得有趣的地方。由于它以引擎形式接入 PyTorch，而不是另起炉灶的独立框架，现有训练代码大多能继续使用，同时获得内存和吞吐上的提升。