judgeval

收录理由

很多团队在构建LLM智能体时，往往要等客户踩到问题才意识到故障，而那时能解释问题的链路追踪数据通常已经丢失了。Judgeval用一个Python SDK把基于OpenTelemetry的追踪和裁判式评测结合起来，自动捕获输入、输出和token用量，再按提示词定义的评分标准对智能体行为打分，输出带标签的结构化结果。这套机制真正有价值的地方在于它能形成一个闭环：你可以让裁判在线上真实流量上打分，也可以把历史追踪重放一遍来验证修复效果，确保修复在发布前就经过真实场景的检验。加上对OpenAI、Anthropic和LangGraph的自动插桩，接入成本被压得很低，团队不用在观测和评测两套系统之间来回切换。