InfraTech

收录理由

这份笔记集合特别适合那些日常在用vLLM、SGLang这类推理服务，却对框架内部究竟怎么运作只有模糊印象的工程师。每个主题都配了一个可以直接跑的Python notebook，把KV cache管理、RadixAttention、chunked prefill、投机解码和量化这些概念一步步拆开演示，旁边还附有同主题的中文长文，把细节再往下挖一层。这种“代码+文章”的搭配，既能一个人照着学，也能拿来带新人上手。内容并不局限于某一个推理引擎，还涉及并行策略、CUDA IPC张量共享，甚至一个极简的训练框架，读下来能帮你在脑子里搭出整个技术栈的完整图景。对于那些想在调优或排查生产问题之前，先真正搞懂推理框架为什么会有如此表现的读者来说，这份材料的深度刚刚好。