nccl

收录理由

在英伟达GPU的大规模分布式训练里，NCCL几乎成了通信层的默认选择，很多深度学习框架内部都在用它。哪怕你从不直接碰它的C代码，只要在搭建或维护训练基础设施，都值得弄明白它做了什么。这个库实现了标准的集合通信操作，比如all-reduce、all-gather、broadcast、reduce-scatter，以及任意的发送/接收模式，框架要跨设备同步梯度和权重时，这些操作几乎随时都在被调用。它真正厉害的地方在于对拓扑的感知——根据GPU之间走的是NVLink、PCIe、NVSwitch，还是跨节点的InfiniBand和TCP，它会自动选择不同的算法和路由路径，因此同一套代码既可以跑在单台工作站上，也能直接搬到多节点集群，不需要手动调优。打包方面提供了deb、rpm、tarball和Python wheel几种格式，想把它塞进自定义的GPU环境很方便，不必依赖框架自带的版本。