hivemind

收录理由

Hivemind 是一个基于 PyTorch 的库，它让深度学习模型可以跨越多台联网设备共同训练，而不需要一个中央协调节点。通过分布式哈希表，这些设备能自发组成对等网络，把普通志愿者的电脑资源汇聚起来，省去租用 GPU 集群的成本。在训练过程中，即使某些节点响应迟缓或突然掉线，前向和反向传播依然能顺利完成，这对硬件参差不齐、随时可能退出的场景尤其关键。它还支持把模型的各层分散到不同参与者上，借助去中心化的混合专家机制，让模型规模不再受单机内存限制。Petals 项目以及 NeurIPS 2021 的一个演示都基于它实现了大规模协作训练。