#28 · 主分类: AI云平台与PaaS
beta9
autoscaler
cloudrun
cuda
developer-productivity
distributed-computing
faas
fine-tuning
functions-as-a-service
generative-ai
gpu
large-language-models
llm
llm-inference
ml-platform
paas
self-hosted
serverless
serverless-containers
超快无服务器GPU推理、沙箱和后台任务
项目最后更新:08/27/26
GitHub Stars
1.8K
Forks数量
160
贡献者数量
20
许可证
AGPL-3.0
收录理由
Beta9 把 GPU 驱动的 AI 工作负载抽象成普通 Python 函数。只需给函数加一个装饰器,它就能成为自动扩缩的推理端点、隔离沙箱或后台任务,冷启动时间低于一秒,默认缩容到零。无论是大语言模型推理、微调还是批量处理,在 H100 和 4090 上都能直接跑,不用自己拼装调度器、容器运行时和消息队列。你可以部署在 Beam 托管云上,也可以完全自托管,保留对 GPU 的控制权。对于想要快速交付模型负载、又不想操心底层基础设施的团队来说,这是个很合适的选择。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。