mixture-of-experts

收录理由

对想在控制计算量的前提下扩充Transformer参数规模的PyTorch开发者来说，这个库给出了一个很具体的稀疏门控专家混合层实现。它不光把Top-2门控、专家容量均衡和保证路由稳定的辅助损失都做好了，还额外提供了GShard论文里那种两层级联的变体。你可以直接沿用内置的默认设定，也很容易替换成自己的专家网络，灵活性不错。不过要留意：项目作者现在已经建议把生产用途放到更新的st-moe-pytorch上，所以这个仓库更多是作为一份精简且可读的代码参考，帮人搞清楚稀疏门控机制在实际代码里是怎么运作的。