#698 · 主分类： 教育与研究
picoGPT
deep-learning
gpt
gpt-2
large-language-models
machine-learning
neural-network
nlp
python
一个用NumPy实现的不必要地微小的GPT-2。
项目最后更新：04/24/23
GitHub Stars
3.5K
Forks数量
456
贡献者数量
5
许可证
MIT
收录理由
读GPT-2的论文或源码时，内部机制常常像一团迷雾。这个项目用大约40行纯NumPy代码把前向传播整个摊开，配套的博客文章还一步步拆解每个细节。它没法帮你部署任何东西：跑得慢，一次只能处理一条样本，也没有训练代码。可这份精简恰恰是它的价值所在。仓库里带着分词器和权重加载工具，你可以直接下载真实的GPT-2检查点，亲眼看着嵌入层、注意力头、层归一化怎么一步步算出logits。想在投入完整框架之前把架构重新推导一遍的话，这是一份紧凑又清晰的参考资料。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
prompts.chat
前身为 Awesome ChatGPT Prompts。分享、发现和收集社区提示词。免费且开源——可自托管，为您的组织提供完全隐私。
JavaGuide
Java 面试 & 后端通用面试指南，覆盖计算机基础、数据库、分布式、高并发、系统设计与 AI 应用开发
system-prompts-and-models-of-ai-tools
精选流行AI助手和编码代理的系统提示、内部工具和AI模型集合。
30-seconds-of-code
编程文章，助你提升开发技能
generative-ai-for-beginners
21节课，开始使用生成式AI构建