Tutel

收录理由

Tutel 是一个面向 PyTorch 的库，专门处理混合专家（MoE）模型底层的那些繁琐机制——这类管道工作通常需要框架使用者自己动手搭建。它优化的 MoE 层可以在运行时动态切换并行度、稀疏度和容量设置，而且不会带来常见的性能损失，因此专家路由的变化不会拖慢整体速度。此外，它直接提供了 FP8、NVFP4 和 MXFP4 的低精度推理路径，支持 DeepSeek、Kimi、Qwen3、GLM 等主流 MoE 检查点，并能在 A100/H100 或 AMD MI300 硬件上运行。需要说明的是，这是一个组件库而非完整的服务框架，使用时需要自行集成到训练或推理流程中。对于已经在使用 MoE 架构、希望更精细地控制专家分配和低精度执行的团队，这个项目值得关注。