#180 · 主分类: 推理与本地部署

vllm-playground

ai learning llms vllm

一个现代化的Web界面,用于管理和与vLLM服务器(www.github.com/vllm-project/vllm)交互。支持GPU和CPU模式,特别针对macOS Apple Silicon和OpenShift/Kubernetes上的企业部署进行了优化。

项目最后更新:04/07/26

GitHub Stars

524

Forks数量

72

贡献者数量

8

许可证

Apache-2.0

收录理由

这是一个把 vLLM 从纯命令行操作变成可视化界面的浏览器工具。你可以直接选择模型、调整 GPU 显存和张量并行度、启动服务并立刻对话,旁边还有实时日志和可观测性仪表盘。它同时管理多个后端,无论是本地子进程、容器还是远程地址都能并行运行,并附加了实用功能:视觉模型对话、函数与工具调用、MCP 连接,还能让 Claude Code 调用本地开源模型。针对 Apple Silicon 和 OpenShift/Kubernetes 部署也有专门优化。如果你日常用 vLLM 跑模型,想更顺手地做开发、压测和演示,这个项目值得一试。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目