kat

收录理由

KAT 是 Kolmogorov-Arnold Transformer 的官方 PyTorch 实现，这一研究架构用基于有理基函数的 KAN 层替换了视觉 Transformer 中的 MLP 模块。其核心思路是让 KAN 层能够适应 ImageNet 这类大规模数据集，而普通的 ViT 加上 KAN 往往难以有效扩展。仓库中提供了 CUDA 内核、安装更简便的 Triton 实现，以及 ICLR 2025 论文所用的训练流程，你可以据此复现论文结果，或将其中组件改造进自己的视觉骨干网络。对于想将 KAN 模块与标准 ViT 基线做对比的研究人员和工程师来说，这个项目很有参考价值；但若你寻求的是可直接上线的生产模型，它可能并不合适。