MFTCoder

收录理由

MFTCoder 处理代码模型微调的方式有些特别：它不把模型逐个任务地单独适配，而是把多个相关的代码任务放在一起训练，项目方认为这样既能提升准确率，也能提高效率。框架提供了两条训练路线，一条基于 PEFT，另一条基于 accelerate，其中 accelerate 路线支持 QLoRA 搭配 DeepSpeed ZeRO-3 或 FSDP，即便没有大型 GPU 集群，也能对超大模型进行微调。最新版本还加入了 DPO、RPO、ORPO 这类偏好对齐方法，用来调整模型的输出行为，而不只是教它新任务。两篇经过同行评审的论文分别发表在 KDD 2024 和 EMNLP 2024，详细解释了多任务训练和收敛平衡的具体做法，如果你想知道代码背后的理论依据，而不只是拿个脚本跑一遍，这些资料会很有帮助。