opik

收录理由

Opik 是 Comet 推出的开源 LLM 可观测性与评测平台，支持自托管。它能记录从单次模型调用到多步智能体完整工具调用链的每一条追踪数据，当响应出错时，你可以顺着调用树逐层排查，快速定位问题根源。在评测方面，它允许你构建数据集、运行实验，并利用 LLM-as-a-judge 指标检测幻觉和评估 RAG 答案的相关性，还能通过 PyTest 集成将这些检查接入 CI 流程。整个平台包括后端均采用 Apache-2.0 许可，可免费自部署，因此团队能够将追踪数据保留在自己的基础设施内。如果你正在把智能体或 RAG 系统从原型推向生产，希望在一个工具里同时获得深度调试能力和可重复的评测机制，这个项目值得关注。