RL4LMs

收录理由

RL4LMs 把强化学习微调语言模型所需的各个部件都准备好了，你只需关心奖励函数和策略设计，不用从头搭训练循环。它支持 PPO、A2C、TRPO 以及新提出的 NLPO 等在线策略算法，奖励函数覆盖二十多种自然语言生成指标，包括 ROUGE、BLEU、BERTSCORE、BLEURT 这类词汇或语义度量，也能用预训练分类器打分。策略模型可选因果语言模型或序列到序列模型，比如 GPT、T5、BART。项目提供预定义的 YAML 配置，方便复现实验，并已在摘要、翻译、对话生成、表格到文本等多项任务上做了大量测试。对于想做 RLHF 风格实验或自定义奖励的研究者来说，这是个不错的起点，不过代码偏研究导向，最后更新于 2024 年初，实际部署时可能需要自行调整。