Mish

收录理由

Mish 是 BMVC 2020 同名论文中提出的自正则化非单调激活函数的官方参考实现，相比 ReLU 更加平滑，在卷积网络和 Transformer 风格的结构上往往能带来精度提升。仓库提供了 PyTorch、Keras、TensorFlow、JAX 等多个框架的可用代码，直接接入现有项目即可，无需自行编写自定义层。文档还记录了该激活函数在 ImageNet 图像分类、MS-COCO 目标检测等真实基准上的表现差异，方便你判断是否值得在自己的模型里替换尝试。此外，项目给出了基于 CUDA 的加速版本、节省内存的变体实现，以及配合 Mish 使用的方差初始化技巧，对于大规模采用很有参考价值。