#38 · 主分类: AI云平台与PaaS

restai

blocky embeddings fastapi langchain llama llamaindex llm ollama openai openaiapi python rag stable-diffusion transformers

开源AI即服务平台,通过REST API部署和管理大语言模型,内置嵌入、微调和生成功能。

项目最后更新:08/23/26

GitHub Stars

512

Forks数量

107

贡献者数量

14

许可证

Apache-2.0

收录理由

RESTai是一个可自行托管的AI即服务平台,它把多种模型能力统一封装到一套REST API里。如果团队或客户想用上AI,又不想把数据交给第三方服务商,这个平台就很合适。除了基本的对话补全,它还内置了RAG(可上传文档检索)、连接数据库后的SQL转自然语言、通过MCP工具驱动无头浏览器的ReAct代理,以及图像和音频生成功能,因此单次部署就能同时支撑多种常见业务场景。管理后台提供了团队管理、基于角色的访问控制、OAuth和LDAP登录,还支持按项目限流和令牌计数,这些运维细节如果自己动手拼装会相当费事。已有的Ollama、vLLM或云厂商后端,都能通过同一界面将请求路由过去;用Docker镜像或pip安装,很快就能把第一个项目跑起来。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目