llm-as-a-verifier

收录理由

这个工具是一个 Python 库，它不是简单地对智能体的回答判“通过”或“不通过”，而是评估这个回答在多大程度上真正解决了任务。它的评分方式很完整：不是只看模型给出的那个分数，而是把分数 token 的整个 logprob 分布拿来取平均值。这样一来，反馈的颗粒度变得很细，那些光靠二元判断就容易漏掉的小错误也能被抓住。你可以把这个评分信号用在 best-of-N 选择、测试时计算扩展或者强化学习上，而且它支持 DeepSeek、Vertex 以及任何能返回 logprobs 的 OpenAI 兼容服务器，所以接入现有开发流程很方便，不需要重新训练自己的模型。做编码、机器人或医疗智能体的团队，在多个候选输出里挑选合适的那一个，或者想纠正那种单纯布尔检查看不出来的毛病，这个库都能派上用场。如果你一直希望让智能体告诉你它哪里错了，而不是只回一句“失败”，那这个项目就是个很好的起点。