GitHub Stars
3.0K
Forks数量
332
贡献者数量
7
许可证
MIT
收录理由
DualPipe 是 DeepSeek 在训练 V3 和 R1 时实际采用的 bidirectional pipeline parallelism 算法。它的核心思路是把前向与后向的计算和通信重叠起来，让 GPU 在微批次之间不再因流水线气泡而空转。仓库里同时提供了原始 DualPipe 调度和更简洁的 DualPipeV 变体的可运行 Python 示例，还附了一张对比表，把这两种方案与常见的 1F1B、ZB1P 在气泡和显存占用上的取舍讲得很清楚。对于在多卡环境下训练超大规模语言模型的团队来说，这份代码是提升流水线并行吞吐量的实用参考。可以把它当作一个调度蓝图，按需改造后融入自己的训练栈，而不是开箱即用的完整框架——实际部署时还需要自己实现定制的 overlapped forward-backward 方法。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。