bert_language_understanding

收录理由

啃过官方BERT或Transformer源码的人，多半都体会过那种被复杂结构和抽象接口绕晕的感觉。这个项目用TensorFlow写了一个精简版本，保留了两篇论文的核心思路，同时把Transformer编码器换成了TextCNN，并验证了在中等规模数据上，用掩码语言模型做预训练再微调，确实能带来明显的效果提升。它很适合想搞明白预训练为什么有用、各个模块之间怎么衔接的读者，项目里还附带了玩具任务、多标签分类示例，以及一批引导你逐步理解两篇论文的思考题。需要注意的是，代码停留在2018到2019年，用的是老式TensorFlow写法，更适合当作学习材料来读，而不是直接搬到生产环境里用。