pet

收录理由

PET 是模式利用训练（pattern-exploiting training）的参考实现，其核心思路是把每个样本改写成完形填空式的短语，让掩码语言模型直接预测标签词。这个技巧后来成了少样本自然语言处理快速发展的一块基石。仓库里同时包含两篇论文的代码，你既可以复现原文的实验结果，也能拿 PET 和迭代版 iPET 作为基线来对比自己的方法，还能从中看到 verbalizer 式提示学习如何一步步演变为今天常见的上下文学习。代码提供了命令行和 Python 两种使用方式，支持 PET、iPET 以及普通的有监督训练，覆盖 SuperGLUE 在内的 13 个任务，并可以通过 priming 做零样本推理。需要留意的是，这属于研究性质的开源项目，并非持续维护的生产级库，若要应用到新数据集上，可能需要自行调整；仓库最主要的交付物是文档中记录的可复现结果。