m3tl

收录理由

M3TL 面向的是在同一个 transformer 骨干网络上同时训练多个相关 NLP 任务的场景。它基于 HuggingFace transformers 构建，一个模型就能同时处理分类、多标签分类、序列标注、回归、掩码语言建模和对比学习等任务，对于需要在同一份语料上做命名实体识别、词性标注和文本分类的团队来说很实用。多任务学习里那些通常让人头疼的部分，比如问题采样、损失组合和梯度手术，这个库都做成了可编程模块，还内置了几种现成的多任务算法，不用自己从头搭整套机制。由于它跑在 transformers 之上，常见的预训练模型生态都能直接用。不过它更偏向研究用途，不是持续维护的生产级服务，接入自己的数据管道时需要做些改造；但要是想快速验证多个 NLP 任务共享表示的效果，它能省掉大量样板代码。