phoenix

收录理由

做LLM应用交付的团队，几乎都会撞上同一个难题：改了一版提示词、换了个模型，或者调整检索逻辑，线上行为悄悄变了，却没人能说清是哪一步出了问题。Phoenix把基于OpenTelemetry的追踪链路和评测流程放在一起用，你可以调出真实的运行时trace，再按自己定义的准则给回复和检索上下文打分。它维护带版本的数据集，配套的实验运行器会记录提示词、模型和检索改动随时间的表现变化；提交改动前，还可以在playground里先对比不同模型和参数。遇到单条trace，内置助手能帮你排查；它暴露的远程MCP端点，让Claude Code、Cursor这类工具直接查询trace和数据集。整套东西通过pip安装即可在本地跑起来，小团队不必搭建云基础设施就能获得完整的可观测性栈，而且对语言、厂商和常见框架与提供商都保持中立。