time-to-first-token

收录理由

市面上讲大模型推理的学习资料，大多是一堆互不相干的教程拼在一起。这份路线图反其道而行：五十个课时全部围绕同一个目标——搭建一个兼容OpenAI接口的推理服务，从租用GPU部署、用Grafana做监控，到压测超过一千并发请求，再用量化与投机解码逐步优化。它把roofline模型放在所有调优手段之前，让你在动手之前先明白每个优化为什么重要。对于已经熟悉Python和transformers、但从未跑过完整服务栈的工程师来说，这是一条从基本原理到可复现基准测试的清晰路径；而每个课时标注了“略读”或“构建”，熟悉的内容可以快速跳过，因此有经验的读者也能把它当作复习提纲，而不只是入门教材。