tiny-vllm

收录理由

tiny-vllm 是一份难得的双重礼物：它既是一个用 C++ 和 CUDA 写成的、能真正跑起来的 LLM 推理服务，又是一门手把手带你把它造出来的课程。作者从零开始推导数学原理和实现细节，手写 CUDA 内核覆盖完整的前向传播、KV 缓存、连续批处理和 PagedAttention，学完你手里会有一个可运行的引擎，心里也真正明白它每一步在做什么。这对两类人特别有价值：用过 llama.cpp 或 vLLM 却从没看过内部实现的开发者，可以顺着它看清从加载 Safetensors 模型到生成 token 之间发生的每一件事；而讲师和自学者则能得到一条现成的教学路线，从 bfloat16、RMSNorm 一路讲到 online softmax 和分页 KV 缓存，既适合大学课堂当教材，也适合自己按节奏啃完整个项目。