MinivLLM

收录理由

对于在用 vLLM 跑生产环境却从未深入过引擎内部的人来说，这个项目很有启发。它从头把推理引擎重写了一遍，用自包含的 Triton 实现 paged attention 和 flash attention，不依赖第三方库，所以内核逻辑清晰可查。仓库提供预填充和解码阶段的基准测试，对比标准 PyTorch 注意力、朴素 Triton 核和 flash attention 的实现，能直观看到内存和延迟之间的权衡。还附有逐步指南，讲解模型层、paged attention、CUDA graph 和调度，等于为想自己调优或排查服务栈的团队铺了一条上手路径，不必把 vLLM 当成黑盒。