ragas

收录理由

Ragas 是一套面向 LLM 应用团队的实用评测工具，它帮你把“应用到底有没有变好”这件事从主观感受变成可量化的数据。内置了多种现成的评测指标，覆盖答案准确性、忠实度、相关性等常见场景，同时也允许你自定义评分标准，确保每次评估都采用一致的口径。最亮眼的是它的测试集生成能力：当你手头没有标注好的评估数据时，它能根据生产环境的特点自动合成覆盖多种场景的测试用例，大大降低了从零开始做评测的门槛。工具本身与 LangChain 等主流框架以及可观测性平台无缝衔接，还支持把线上真实数据回流到评估流程中，让评测体系随着应用迭代持续更新。如果你正打算从零散的人工检查转向系统化地评估 RAG 管道或智能体行为，这个项目是一个相当扎实的起点。