#23 · 主分类： 教育与研究
minimind
🧠 从头训练一个64M参数的LLM，仅需2小时！
项目最后更新：08/29/26
GitHub Stars
55.1K
Forks数量
7.2K
贡献者数量
13
许可证
Apache-2.0
收录理由
这个项目把大模型训练的全流程压缩到了一个人能实际跑完的规模。它从零训练一个约64M参数的小模型，所有环节都用PyTorch原生实现，不套高层框架的封装。代码一路走下来，覆盖分词器训练、预训练、监督微调、LoRA、DPO，还有PPO、GRPO这类强化学习阶段，甚至包括工具调用和智能体强化学习。因为模型足够小，SFT阶段在单张NVIDIA 3090上大约两小时就能跑完，复现结果和动手改内部实现都变得很现实。这种完整性和小规模结合在一起，让它既适合想搞懂LLM原理的人当动手教程，也能给想看简洁可读代码的工程师当一份紧凑的参考。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
prompts.chat
前身为 Awesome ChatGPT Prompts。分享、发现和收集社区提示词。免费且开源——可自托管，为您的组织提供完全隐私。
JavaGuide
Java 面试 & 后端通用面试指南，覆盖计算机基础、数据库、分布式、高并发、系统设计与 AI 应用开发
system-prompts-and-models-of-ai-tools
精选流行AI助手和编码代理的系统提示、内部工具和AI模型集合。
30-seconds-of-code
编程文章，助你提升开发技能
generative-ai-for-beginners
21节课，开始使用生成式AI构建