transformers_tasks

收录理由

这个仓库把 Hugging Face transformers 库里的常见 NLP 任务做成了可以直接跑的代码集合。它不空谈算法原理，而是给出文本分类、生成、匹配、命名实体识别、关系抽取等任务的训练脚本，像 DSSM、Sentence-BERT、SimCSE、UIE、PET、p-tuning 这些方法都接好了，通过 shell 脚本和 notebook 就能换成自己的数据来用。另外也覆盖了模型对齐的部分，包括奖励模型训练、RLHF 的 PPO、ChatGLM 微调和零样本提示，做完了单任务想往更进阶的方向走时，这些能派上用场。按任务划分的目录结构，入口清晰，对刚接触 transformers 的工程师来说是一条顺当的学习路径，也能当实验的起点。需要提醒的是，这个项目还在持续完善中，每个模块更适合当作一个待验证和扩展的基线，而不是已经打磨好的成品。