train-llm-from-scratch

收录理由

这个仓库把大模型从原始文本到最终生成的每一步都摊开给你看，而不是把模型当作一个黑箱。从文本分词开始，到依据《Attention Is All You Need》论文搭建Transformer，再到SFT、奖励模型、PPO、DPO和GRPO等后期训练环节，全部用纯PyTorch手写实现，没有借用transformers、TRL或PEFT这些库来掩盖细节。对于想真正理解每个机制背后代码逻辑的工程师和学生来说，这种透明度是它最吸引人的地方。同一套脚本既能训练几百万参数的小模型，也能在单张GPU上扩展到十亿参数，你可以自己跑通整个流程，亲眼看到数据分布和损失函数的变化如何重塑模型输出。如果以后打算做模型微调或对齐，完整走一遍这条路能帮你建立起仅靠阅读文档很难获得的直觉。