langwatch

收录理由

LangWatch 是少数几个把 LLM 评估、可观测性与 Agent 测试整合在同一个平台里的开源项目，团队可以在发布前捕捉回归问题，生产环境一旦出故障也有明确的地方去排查。它不要求你把链路追踪、数据集和评估工具拼凑起来，而是提供一个可自托管的完整工作区：追踪数据自动汇入数据集，离线与在线评估直接在这些数据上运行，提示词或模型改动也能就地对比和优化。最突出的是它的 Agent 模拟器，能对完整技术栈执行真实的多步场景，涵盖工具、状态、模拟用户和评判者，最后精确指出 Agent 在哪一步决策上出了问题。对正在交付 Agent 的工程团队来说，这提供了一种可重复、基于证据的测试方式，而不是简单冒烟测试；对在生产环境运行 LLM 工作负载的人来说，当某个提示词悄悄变差时，也有一条具体的追踪线索可供回溯。