#28 · 主分类: AI云平台与PaaS

beta9

autoscaler cloudrun cuda developer-productivity distributed-computing faas fine-tuning functions-as-a-service generative-ai gpu large-language-models llm llm-inference ml-platform paas self-hosted serverless serverless-containers

超快无服务器GPU推理、沙箱和后台任务

项目最后更新:08/27/26

GitHub Stars

1.8K

Forks数量

160

贡献者数量

20

许可证

AGPL-3.0

收录理由

Beta9 把 GPU 驱动的 AI 工作负载抽象成普通 Python 函数。只需给函数加一个装饰器,它就能成为自动扩缩的推理端点、隔离沙箱或后台任务,冷启动时间低于一秒,默认缩容到零。无论是大语言模型推理、微调还是批量处理,在 H100 和 4090 上都能直接跑,不用自己拼装调度器、容器运行时和消息队列。你可以部署在 Beam 托管云上,也可以完全自托管,保留对 GPU 的控制权。对于想要快速交付模型负载、又不想操心底层基础设施的团队来说,这是个很合适的选择。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目