axolotl

收录理由

Axolotl 把大模型微调里那些琐碎又容易出错的环节——分词器处理、注意力掩码、优化器配置、加速器专属参数——统统收进一份声明式的 YAML 配置里。你不再需要自己拼装训练循环，从 Llama、Mistral、Qwen 或 Gemma 拉一个基础检查点，就能直接跑 LoRA、QLoRA 或全参数微调。当模型越变越大，那些棘手的部分也一并覆盖：多节点并行、针对长上下文的序列并行、MoE 专家量化，还有 DPO、GRPO 这类强化式训练配方。命令行工具和 Colab 笔记本让快速实验毫不费力，而配置优先的设计让你能精确复现某个检查点对应的超参数组合。生产环境中微调开源权重模型的团队，和反复打磨训练配方的研究者，都能从中找到顺手的支持。