#33 · 主分类： 推理与本地部署
serve
cloud-native
cncf
deep-learning
docker
fastapi
framework
generative-ai
grpc
jaeger
kubernetes
llmops
machine-learning
microservice
mlops
multimodal
neural-search
opentelemetry
orchestration
pipeline
prometheus
☁️ 使用云原生技术栈构建多模态AI应用
项目最后更新：03/24/25
GitHub Stars
21.9K
Forks数量
2.2K
贡献者数量
185
许可证
Apache-2.0
收录理由
把推理逻辑封装成 Executor，通过 gRPC、HTTP 或 WebSocket 暴露服务，Jina 让开发者不必从零搭建周边基础设施。扩缩容、流式传输、动态批处理都由框架接管，原生 gRPC 支持配合 Docker、Kubernetes 和 Docker Compose 集成，放进云原生微服务栈里毫无违和感。编排层才是它真正省时间的地方——团队可以从本地原型直接推到线上负载均衡的端点，多模态负载尤其拿手。LLM 端点逐 token 流式输出，聊天类应用因此响应始终跟手。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。