albert_pytorch

收录理由

这个项目把ALBERT的模型结构和微调流程放在一起，用PyTorch实现，想跑一个轻量级BERT变体时，不必为了它去引入笨重的完整框架。仓库里提供了把官方TensorFlow checkpoint转成PyTorch权重的脚本，覆盖base到xxlarge各个尺寸，GLUE任务脚本（包括SST-2）也直接可用，作为句子和句对分类的起点很顺手。README里还记录了作者在几个GLUE任务上复现的dev集分数，方便你预估效果。如果你想看ALBERT的参数共享和嵌入因子分解到底怎么落地，或者需要一个紧凑的微调参考，这份代码读起来清楚，改起来也不费劲。