TopOpenSourceAI
EN

#624 · 主分类： 教育与研究

BertWithPretrained

bert deep-learning nlp pretrained-models pytorch question-answering squad swag text-classification

基于PyTorch框架的BERT模型及其相关下游任务的实现。@跟我学机器学习

项目最后更新：07/25/25

在 GitHub 查看

GitHub Stars

604

Forks数量

108

贡献者数量

1

许可证

Other

收录理由

这个项目用PyTorch从零搭建BERT，从自注意力、输入嵌入到完整编码器，逐层拆解模型结构。仓库里还配了七项可运行的下游任务，覆盖中文文本分类、MNLI句子对分类、SWAG多选题、SQuAD问答、NSP/MLM预训练以及中文命名实体识别，每项任务都带数据集和训练脚本。对于想弄明白预训练Transformer如何接不同任务头、而不是把Hugging Face当黑盒用的开发者来说，模块化代码和逐任务讲解提供了清晰的学习路径。它更适合当作教学资源和理解BERT内部机制、微调模式的参考，而不是直接用于生产的部署库。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。

同类热门项目

prompts.chat

前身为 Awesome ChatGPT Prompts。分享、发现和收集社区提示词。免费且开源——可自托管，为您的组织提供完全隐私。

#1

JavaGuide

Java 面试 & 后端通用面试指南，覆盖计算机基础、数据库、分布式、高并发、系统设计与 AI 应用开发

#2

system-prompts-and-models-of-ai-tools

精选流行AI助手和编码代理的系统提示、内部工具和AI模型集合。

#3

30-seconds-of-code

编程文章，助你提升开发技能

#4

generative-ai-for-beginners

21节课，开始使用生成式AI构建

#5