text-embeddings-inference

收录理由

把嵌入模型部署到检索或 RAG 场景里，通常得自己把 transformer 库接进 Web 服务，还得担心它在真实流量下扛不扛得住。Text Embeddings Inference（TEI）把这一步省掉了：它直接为 FlagEmbedding、GTE、E5、ModernBERT 这类开源模型提供服务，采用基于 token 的动态批处理，请求处理效率高，无需再手工搭建推理层。项目跳过了模型图编译环节，Docker 镜像小、启动快，既能适应 serverless 部署，也能借助 Metal 在 Mac 上做本地开发。同时支持重排序模型和序列分类模型，并暴露 Prometheus 指标与 OpenTelemetry 追踪，方便在把生产流量切过去之前，先接入你现有的监控体系。