fine-tune-mistral

收录理由

想用自己的数据微调一个70亿参数的模型，通常要么花钱调用托管API，要么被笨重的训练框架折腾得够呛。这个仓库正好处在中间：一个简洁明了的训练脚本，对Mistral-7B做全量微调，不用QLoRA或其他省参数的捷径，整个模型的权重都会更新。你只需把train.jsonl和validation.jsonl放进data文件夹，设置好Hugging Face令牌，再用torchrun在单卡或多卡上启动即可。作者还分享了在消费级和数据中心显卡上实际跑出来的经验：小批量时降低学习率，数据量至少一千条，另外要留一份不参与训练的评估集，才能分辨模型是真在进步还是只是过拟合。如果你想要一个在3090、A100或H100上做全量微调的极简参考，这份代码短到可以快速读完并改来用。