MiniMind-in-Depth

收录理由

这个项目把一个小型可运行语言模型的源码逐行拆开，讲清楚每个模块在干什么。作者基于jingyaogong/minimind，从零训练tokenizer、RMSNorm、旋转位置编码，一直讲到专家混合（MoE）的路由机制，每一步都标出张量的输入输出尺寸，方便读者跟着数据流走。后面的章节覆盖预训练、指令微调、DPO对齐、LoRA和蒸馏，能让人直观看到这些技术如何真正接进训练循环里，而不是停留在抽象概念上。整份资料介于带讲解的教科书和注释充分的代码之间，适合喜欢通过读注释代码来学习的开发者。作为学习伴侣很合适，但并非拿来部署的软件。