#157 · 主分类： MLOps与评测
RLHF-Reward-Modeling
训练RLHF奖励模型的配方。
项目最后更新：04/24/25
GitHub Stars
1.5K
Forks数量
110
贡献者数量
14
许可证
Apache-2.0
收录理由
奖励模型训练往往是RLHF流程中最棘手的一环，这个仓库汇集了RLHFlow团队训练已发布模型时使用的配方。其中涵盖了经典的Bradley-Terry奖励模型和成对偏好模型，更进一步提供了研究变体，比如ArmoRM的多目标混合专家聚合、长度偏差校正的奖励建模，以及半监督自训练。每种方法都附有训练数据、代码和超参数，你可以用自己的偏好数据复现结果，而不必从论文中重新拼凑设置。如果你想要一个能实际检查的评分信号而非黑盒网络，决策树奖励模型是个不错的选择。对于已经熟悉Hugging Face训练循环的团队，这是一个有用的参考，可以并排比较不同的奖励模型设计。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
unsloth
本地UI，用于运行和训练LLM及扩散模型。支持GGUF、MLX、Qwen3.8、Kimi K3、MiniMax-H3、Gemma 4、FLUX等。
LlamaFactory
统一高效微调100+大语言模型与视觉语言模型（ACL 2024）
airflow
Apache Airflow - 一个以编程方式编写、调度和监控工作流的平台
langfuse
🪢 开源AI工程平台：LLM评估、可观测性、指标、提示管理、游乐场、数据集。与OpenTelemetry、LangChain、OpenAI SDK、LiteLLM等集成。🍊YC W23
netron
神经网络、深度学习和机器学习模型的可视化工具