P-tuning-v2

收录理由

当你想在只更新少量连续提示向量的情况下，获得接近全量微调的精度时，P-tuning v2 是一个值得考虑的实现。它通过在冻结的预训练 transformer 每一层都加入可训练的提示，把模型适配到新任务时省去了传统微调所需的大量显存和算力。仓库里提供了可运行的脚本和超参数搜索工具，覆盖 SuperGLUE、SQuAD 等标准基准以及序列标注，还附带一个用于神经文本检索的独立模块。照着文档走，你很快就能复现论文里的结果，再迁移到自己的数据上。由于骨干网络保持冻结，在显存有限的 GPU 上跑起来并不吃力，同时代码也把深度提示调优和前缀调优的差异展示得很清楚。