TopOpenSourceAI
EN

#361 · 主分类： 教育与研究

llm-internals

attention-is-all-you-need attention-mechanism large-language-models learn-llm llm llm-internals

逐步学习LLM内部原理 - 从分词到注意力机制到推理优化。

项目最后更新：08/19/26

在 GitHub 查看 访问官网

GitHub Stars

1.5K

Forks数量

174

贡献者数量

1

许可证

Apache-2.0

收录理由

这份资料把大语言模型的内部运作一层层拆开来讲，从分词、字节对编码起步，一路讲到注意力机制里Q、K、V背后的数学推导，以及因果掩码、反向传播、交叉熵损失和Transformer结构。每个主题都配了具体的数值例子，手把手带你算一遍，同时还有视频或文字教程可以按自己的喜好选择。作者默认读者已经具备一定的机器学习基础，所以讲得细致但不啰嗦，把机制原原本本摊开。仓库还在持续更新，新内容不断加进来，无论你是想按顺序系统学一遍，还是只想查某个即将用在训练或优化里的具体环节，都能把它当成一个顺手的自学索引。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。

同类热门项目

prompts.chat

前身为 Awesome ChatGPT Prompts。分享、发现和收集社区提示词。免费且开源——可自托管，为您的组织提供完全隐私。

#1

JavaGuide

Java 面试 & 后端通用面试指南，覆盖计算机基础、数据库、分布式、高并发、系统设计与 AI 应用开发

#2

system-prompts-and-models-of-ai-tools

精选流行AI助手和编码代理的系统提示、内部工具和AI模型集合。

#3

30-seconds-of-code

编程文章，助你提升开发技能

#4

generative-ai-for-beginners

21节课，开始使用生成式AI构建

#5