openinference

收录理由

做 LLM 应用排查时，链路追踪是看清请求内部到底发生了什么的关键手段。OpenInference 是这方面做得相当完整的开源方案，专门面向 AI 负载：它既有一份规范，又提供一系列插桩插件，能在 Python、JS、Go、Java 的 SDK 里输出格式统一的 trace，覆盖 OpenAI、LangChain、LlamaIndex、CrewAI、MCP 服务器、Bedrock、Vertex 等常见接入点。同一套插桩能适配这么多技术栈，意味着所有 trace 可以汇入同一个后端，不用为每个框架单独手写导出器。项目建立在 OpenTelemetry 之上而不是另起炉灶，所以 trace 在传输层和后端层面保持中立，既能配合 Arize Phoenix、Arize AX，也能接到任何兼容 OTel 的存储里。对于同时跑 agent 和 RAG 混合架构的团队，即便想保留自己的分析工具，这套共享的语义约定也值得借鉴采纳。