BERT-pytorch

收录理由

这是一个以清晰易懂为首要目标的 PyTorch 版 BERT 实现，对应 Google 在 2018 年提出的模型。代码模块划分得很细，注释也比较充分，读者可以顺着代码一步步看清掩码语言建模和下一句预测这两项核心训练任务究竟是怎么落地成具体运算的，很适合用来把论文里的概念和实际代码对上号。项目还提供了命令行工具，既能基于自己的语料构建词表，也能直接启动预训练流程，哪怕数据量不大，也能完整体验一遍训练过程。需要留意的是，作者明确表示这个项目还在推进中，代码尚未经过充分验证，因此更合适当作学习与参考的素材，而不是可以直接上生产的软件。