clip-as-service

收录理由

CLIP-as-service 把 OpenAI 的 CLIP 模型包装成网络服务，让你不必自己搭建推理层，就能把图片和文本映射到同一个向量空间。它支持 PyTorch、ONNX Runtime 和 TensorRT 多种后端，还能在多个 GPU 上横向扩展多个 CLIP 模型，并自动负载均衡——当嵌入请求量超出单进程处理能力时，这正是你需要的能力。客户端与服务端通过 gRPC、HTTP 或 WebSocket 通信，支持流式传输，因此可以自然地嵌入到已有的神经搜索流水线中，而不是停留在笔记本实验阶段。客户端是一个独立的轻量级包，这个设计很实用：你可以在笔记本电脑上运行嵌入逻辑，而把更重的推理任务交给 GPU 服务器。