Platypus

收录理由

Platypus 这个名字既指一系列基于 LLaMA 与 LLaMA-2 架构微调合并出的模型，也指这套公开的训练代码。如果你打算自己跑一遍 LoRA 微调，而不是从零搭建整个流程，这个仓库会是很顺手的起点。核心就一个 finetune.py 脚本，配合几个 shell 脚本就能用 torchrun 启动训练，作者在 13B 和 30B 模型上用的超参数也直接写在里面，改改就能用。仓库里还带了数据清洗的代码，能从开源数据集中筛出 STEM 和逻辑类问题，再用余弦相似度去重，想凑一份干净的训练集时能省不少事。合并脚本可以把 LoRA 权重融回基座模型，也支持把多个适配器合在一起——作者发现当源数据集重叠很少时，这种合并对准确率有帮助。要是你预算有限，只有几张消费级显卡，又想微调一个指令跟随模型，这里给出的具体配置和注意事项基本可以照搬。