trulens

收录理由

上线LLM功能时，真正难的问题往往不是怎么写提示词，而是怎么判断这次改动到底有没有用。TruLens用一个装饰器就能给任何应用加上埋点，把每一步的延迟、输入输出、token消耗和成本都记成结构化轨迹。它的LLM评判器会给每个步骤打分，而且会说明打分依据，这些评判器本身还经过人工标注的校准，开箱即用，不用盲信分数。追踪基于OpenTelemetry，轨迹可以导出到任何OTLP后端，不会被绑死在某个私有系统上。对于同时跑多个智能体版本、需要反复对比的团队来说，最实用的是它的对比视图：分数、延迟和成本并排列出，一眼就能看出更便宜的模型在哪些地方真的不掉链子。想让智能体质量从拍脑袋变成可量化的证据，又不想牺牲可观测性上的可移植性，这是个很实在的入手点。