langtrace

收录理由

当LLM应用走出原型阶段，调试就变成了一件需要看清每次模型调用内部到底发生了什么的事。Langtrace是一个基于OpenTelemetry构建、可自行托管的可观测性工具，能够为OpenAI、Anthropic、Gemini等主流模型服务商，以及向量数据库和LangChain这类框架，提供追踪、延迟、token用量和成本等关键信息。它通过轻量的TypeScript或Python SDK接入现有代码，由于追踪遵循OTEL规范，数据可以无缝融入你已有的监控体系，而不必困在某个私有数据孤岛里。使用Docker部署，生产数据可以留在你自己的基础设施内部，而仪表盘则是你用来排查问题提示词根因、或者比较不同服务商收费情况的地方。