build-nanogpt

收录理由

这个仓库把Transformer理论与真正能跑起来的模型之间的距离，实实在在地拉近了。作者用一套视频讲解配合干净、按步骤排列的git提交记录，带你从空文件开始，一步步搭出GPT-2（124M）的复现版本，边看边学，每个模块怎么拼在一起都清清楚楚。训练代码也很务实，在租来的GPU机器上跑一次预训练大约只要一小时、花费不到十美元，作为第一次动手做训练项目非常友好。项目刻意聚焦于互联网文档的预训练，不涉及对话微调，这样你能先把核心训练流程看明白，之后再考虑加聊天功能。无论你是自学深度学习，还是团队想找一个能直接运行、方便修改的参考基线，这里都是很合适的起点。