#140 · 主分类： 推理与本地部署
mosec
cv
deep-learning
gpu
hacktoberfest
jax
llm
llm-serving
machine-learning
machine-learning-platform
mlops
model-serving
mxnet
nerual-network
python
pytorch
rust
tensorflow
tts
高性能机器学习模型服务框架，提供动态批处理和CPU/GPU流水线，以充分利用你的计算设备
项目最后更新：08/09/26
GitHub Stars
902
Forks数量
73
贡献者数量
16
许可证
Apache-2.0
收录理由
Mosec 能把你已有的推理代码直接变成线上 API，不必为了部署重学一套 serving 框架。它的请求层用 Rust 编写，用户侧接口仍是 Python，因此你可以继续用训练时的语言写服务。动态批处理是它最实用的特性：多个客户端同时发来的请求会被合并成一次批量调用，这在按 GPU 时长计费时能省下不少开销。它还允许把 CPU、GPU 和 I/O 密集的任务拆成独立的流水线进程，某个耗时的前后处理步骤不会拖垮整个服务。项目专注于在线服务本身，把模型优化和业务逻辑留给你自行处理，同时自带 Prometheus 监控指标和优雅退出机制，方便在 Kubernetes 上管理。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。