tiny-llm

收录理由

这门课程面向那些已经调用过LLM推理API、却想弄明白系统内部真实运作机制的系统工程师。四周的路径从数组和矩阵运算起步，逐步搭出一个可在Apple Silicon上运行的微型服务栈：先是组装一个可读的Qwen3模型，随后引入KV缓存，再叠加连续批处理和分页KV缓存，最终逼近一个精简版vLLM。全程基于MLX原语而非高层神经网络层，每章都会让你亲手用Python、C++或Metal实现算子，MLX只作为正确性参照。这样一来，数学公式与真实的内存带宽、kernel占用率、调度策略之间就有了直接联系。与其把推理服务当黑盒，不如跟着章节一步步从内部把它看透。