WizardLM

收录理由

WizardLM更像一个研究仓库，而不是拿来即用的成品，但正因如此，它值得被关注。这里诞生了Evol-Instruct方法——把简单指令反复改写成更复杂的版本，从而训练出Wizard系列的指令微调模型。这套思路影响了不少后续开源模型的构建方式，所以如果你正在训练自己的指令跟随大模型，仓库里的训练配方、数据生成脚本和已发布的权重都会派上用场，覆盖对话、代码和数学三个方向，分别对应WizardLM、WizardCoder和WizardMath。背后有ICLR论文和Hugging Face上的模型发布作为支撑，对于想复现或进一步改造指令微调模型的人来说，这是一个非常实际的起点，而不是一个已经包装好的产品。