#524 · 主分类： 教育与研究
attention-is-all-you-need-pytorch
论文《Attention is All You Need》中Transformer模型的PyTorch实现。
项目最后更新：04/16/24
GitHub Stars
9.8K
Forks数量
2.1K
贡献者数量
9
许可证
MIT
收录理由
这篇论文的PyTorch复现项目，非常适合想深入理解Transformer内部机制的学生和研究者。代码直接对照2017年原论文的结构，把自注意力、多头注意力、位置编码以及编码器-解码器整体框架用简洁的PyTorch代码铺展开来，并附带了完整的训练脚本，可以端到端跑通WMT'16德英多模态翻译任务。由于实现紧贴论文设计，追踪每个模块的对应关系会比在大型框架中容易得多，也方便在此基础上改动注意力或解码器结构做实验。需要注意的是，项目定位更偏向学术参考，而非持续维护的生产工具，数据预处理部分可能需要根据你自己的数据重新调整。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
prompts.chat
前身为 Awesome ChatGPT Prompts。分享、发现和收集社区提示词。免费且开源——可自托管，为您的组织提供完全隐私。
JavaGuide
Java 面试 & 后端通用面试指南，覆盖计算机基础、数据库、分布式、高并发、系统设计与 AI 应用开发
system-prompts-and-models-of-ai-tools
精选流行AI助手和编码代理的系统提示、内部工具和AI模型集合。
30-seconds-of-code
编程文章，助你提升开发技能
generative-ai-for-beginners
21节课，开始使用生成式AI构建