LLMs-from-scratch

收录理由

这份代码仓库与 Sebastian Raschka 的同名书籍配套，读起来更像一门循序渐进的课程，而不是拿来即用的工具。每一章都围绕一个具体环节展开：从文本分词、编写注意力机制，到实现 GPT 风格的模型，再在无标注数据上预训练，最后针对分类和指令跟随做微调，全程配有可运行的 notebook 和整理好的脚本。这种逐步推进的方式，对想在接触框架之前先看清 Transformer 内部原理的开发者特别有价值，书中的习题解答也让它很适合自学或课堂教学。仓库还演示了如何加载更大的预训练模型权重，并用 LoRA 做参数高效微调，让你能从玩具规模的训练过渡到真实检查点。无论你是要授课、带新人入门 LLM 内部机制，还是单纯想理解 ChatGPT 背后的原理，这份资料都值得从头到尾过一遍。