LM-BFF

收录理由

LM-BFF 是 ACL 2021 一篇论文的官方代码，论文主题是如何让预训练语言模型在极少量标注样本上也能有不错的表现。对于需要在小型数据集上微调 BERT 或 RoBERTa 这类模型的研发人员来说，这份代码给出了一套很具体的做法：基于提示的微调，配合自动搜索出的模板，以及把示例放进上下文里的策略。仓库里还带了从十五个常见分类数据集中生成 k-shot 划分的脚本，支持多次随机种子实验，并能汇总均值和标准差，方便复现少样本基线或搭建自己的提示实验。需要提醒的是，这更像一个研究原型，而不是持续维护的库，使用时得自己调整代码，并固定到它依赖的旧版 transformers。对于研究或对比少样本 NLP 方法的人，这是一份很有价值的参考资料。