alignment-handbook

收录理由

把一个基础模型变成真正能听懂指令的聊天机器人，远不止跑一遍微调那么简单。这份手册把整个后训练流程拆成了可直接运行的配方：从领域或语言适配的继续预训练，到监督微调、奖励建模、拒绝采样，再到 DPO、ORPO、KTO、IPO 这些偏好对齐方法，每一步都有对应的脚本和配置。训练脚本的适配范围很宽，既能在多卡节点上用 DeepSpeed 做全参数微调，也能在单张消费级显卡上跑 LoRA 或 QLoRA。每个配方都是一个独立的 YAML 配置，能复现出已知模型，相当于给了你一个经过验证的基准线，方便对比效果。如果你正负责把开源模型改造成内部助手，这里的评估脚本和数据集格式指导，和训练代码一样实用。