mt-dnn

收录理由

这是一个出自微软团队的研究型代码库，核心思路是让单个神经网络在同一套参数下同时应对多项自然语言理解任务。项目基于 PyTorch 和 Transformers 构建，把文本分类、命名实体识别、阅读理解以及排序类目标共享在一个骨干网络里，一次训练就能覆盖多种任务形态。仓库还附带团队论文中的多种技术实现，比如对抗训练、知识蒸馏、基于 f-divergence 的正则化方法，这些在需要兼顾鲁棒性和精度的场景里很实用。代码里提供了 GLUE 和 SQuAD 的训练脚本，方便复现实验或把方法迁移到自己的数据上。整体更接近一个需要阅读和改造的研究工具箱，而非开箱即用的产品。