self-rewarding-lm-pytorch

收录理由

对于想复现Meta提出的自奖励语言模型论文的研究者和机器学习工程师来说，这份代码是一个相当紧凑的参考实现，省去了把论文转化为可用代码的繁琐过程。SelfRewardingTrainer打包了完整的迭代训练流程：模型先自己生成候选回答，再给这些回答打分，用这些新数据继续做SFT和DPO阶段的训练。仓库里还附带了SPIN训练器，提供另一种自我对弈式的微调路线。由于构建在x-transformers之上，你可以直接接入一个标准解码器开始试验。它更适合作为研究工具，而不是生产环境中的训练软件；不过对于探索不依赖人工标注偏好数据的对齐方法的团队，这份代码比原始研究流程容易拆解得多。