how-to-optim-algorithm-in-cuda

收录理由

对于写GPU内核或做性能优化的工程师来说，这是一份很实在的学习笔记。仓库里既有手写的CUDA内核，比如reduce、softmax、GEMV这些常见算子，也整理了CUTLASS、Triton、PTX这些底层工具链的笔记，能把内核本身和它周围的工具串起来看。内容顺着作者自己的学习路径走，从手调内核一路到LLM推理和训练的优化，读起来像在跟一个正在解决实际问题的人对话，而不是看一份包装好的代码。再加上CUDA-MODE讲座的笔记和GPU架构论文的总结，给纯内核代码补上了背景知识。想系统学GPU系统的人，可以用它搭起教科书里很少讲清楚的那套心智模型。