RagaAI-Catalyst

收录理由

调试多智能体系统时，开发者常常只能盯着日志猜测哪一步产生了错误输出。RagaAI Catalyst 是一个 Python SDK，它能够追踪智能体的每一步操作，包括背后的 LLM 调用和工具交互，并将结果呈现在自托管的仪表板上，提供时间线和执行图视图，让你直接看到运行中出错的位置，而不是靠推断。它还集成了评估工具：可以定义数据集，为忠实度、幻觉等指标设置可配置的阈值，并运行实验来比较不同版本的效果。提示词管理、合成数据生成、护栏和红队测试等功能也包含在内，使得同一套工具链既能用于调试单次运行，也能用于持续的质量检查。对于构建 RAG 流水线或多智能体系统的团队来说，如果希望在不拼接多个服务的情况下获得追踪和评估能力，这个项目基本能满足需求。