#136 · 主分类： MLOps与评测
OpenJudge
OpenJudge：一个用于全面评估和质量奖励的统一框架
项目最后更新：08/03/26
GitHub Stars
807
Forks数量
64
贡献者数量
20
许可证
Apache-2.0
收录理由
做LLM应用的人都会遇到同一个难题：应用明显出错时容易发现，但要判断它到底好不好，却很难有客观依据。OpenJudge提供了一套可重复的评测流程，让你先收集测试用例，再选用现成的评分器或自己编写评分细则，然后批量运行评测，最后得到详细的短板分析。它内置了覆盖常见场景的评分器，也支持针对具体业务生成定制化的评分标准，省去逐条手写规则的麻烦。更实用的是，评测结果可以转换成奖励信号，这样同一套评测既能用于质量把关，也能接入微调和RLHF训练，让评测和优化形成闭环。如果你负责LLM应用的质量，想用一个统一流程同时完成测量和改进，这个项目值得一试。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。
同类热门项目
unsloth
本地UI，用于运行和训练LLM及扩散模型。支持GGUF、MLX、Qwen3.8、Kimi K3、MiniMax-H3、Gemma 4、FLUX等。
LlamaFactory
统一高效微调100+大语言模型与视觉语言模型（ACL 2024）
airflow
Apache Airflow - 一个以编程方式编写、调度和监控工作流的平台
langfuse
🪢 开源AI工程平台：LLM评估、可观测性、指标、提示管理、游乐场、数据集。与OpenTelemetry、LangChain、OpenAI SDK、LiteLLM等集成。🍊YC W23
netron
神经网络、深度学习和机器学习模型的可视化工具