kan-gpt

收录理由

KAN-GPT 是一个精简的 PyTorch 代码库，它把 GPT 内部的 MLP 模块替换为 Kolmogorov-Arnold 网络，方便你直接验证 KAN 结构在语言建模上是否真有帮助。项目直接基于 minGPT 和 pykan 构建，熟悉 Karpathy 最小 GPT 的人一眼就能看懂整体结构。仓库自带训练和提示脚本、检查点保存以及 notebook 教程，你可以在 Tiny Shakespeare 或 WebText 上拿它和等规模的 MLP-GPT 对比训练，观察损失和困惑度的差异。因此它更像一个研究用的基准工具，而不是面向生产的模型。对于想评估新型层设计的团队，或者想理解 KAN 如何融入自回归生成流程的学生来说，这是一个干净利落的起点，适合直接 fork 后按需修改。