xmtf

收录理由

这个仓库是《跨语言泛化：多任务微调》论文的配套资源，完整记录了BLOOMZ和mT0模型的构建过程。如果你想复现或调整多语言指令微调，这里提供了从数据到训练再到评估的整套流程：xP3和xP3mt任务混合覆盖数十种语言，从PromptSource组装数据的脚本，基于Megatron-DeepSpeed的训练配置和SLURM启动器，以及用于评测已发布检查点的生成与排序工具。它不是一个开箱即用的库，而是一份大规模训练实践的详细记录，适合作为规划自己跨语言微调实验的参考，也适合研究多任务数据组合如何影响零样本泛化。附带的模型卡片和数据集链接，也方便你对比不同版本的BLOOMZ和mT0。