tiny-universe

收录理由

如果你已经习惯通过API调用大模型，却总想知道黑盒里到底发生了什么，这套教程会带你亲手拆开它。项目从最底层的PyTorch写起，逐步实现一个极简Transformer、在约2GB显存下预训练小型Llama风格模型、搭建RAG与GraphRAG流程、组装最小的Agent、配置评估体系，甚至训练一个用于图像生成的扩散模型。每段代码都配有大量注释，你不需要依赖任何高层框架就能跟上每一步。各个模块彼此独立，可以直接跳到最关心的部分——无论是注意力机制、模型评测，还是查询在GraphRAG中的流转路径。只要具备基础的深度学习知识，这套材料就能帮你看到那些平时只通过接口调用的系统，内部究竟是靠什么运转起来的。