OpenManus-RL

收录理由

对于想了解强化学习如何让大模型更像智能体的人来说，这个项目难得地透明。它由UIUC和MetaGPT联合发起，把GRPO、PPO、DPO以及基于偏好的奖励建模用在智能体模型上，思路借鉴了DeepSeek-R1和QwQ-32B的推理模型训练。代码基于verl框架，还配套了托管在Hugging Face上的开放微调数据集，并在GAIA、AgentBench、WebShop、OSWorld等基准上报告了结果。它不是开箱即用的产品，价值在于过程可见——团队用直播式的方式持续更新路线图、rollout策略（ToT、MCTS、Graph-of-Thoughts）以及推理格式。对想复现实验或追踪智能体RL调优方向的研究者和工程师来说，这种开放比打磨更重要。