#137 · 主分类： 推理与本地部署
parallax
blackwell
chatbot
decentralized-inference
deepseek
distributed-systems
glm
kimi
large-language-models
llama
llm
llm-serving
minimax
oss-gpt
python
pytorch
qwen
transformer
Parallax 是一个分布式模型服务框架，让你可以在任何地方构建自己的 AI 集群。
项目最后更新：07/01/26
GitHub Stars
1.4K
Forks数量
146
贡献者数量
29
许可证
Apache-2.0
收录理由
Parallax 让团队把自己手里的机器拼成一个统一的推理集群，几块闲置 GPU、一台 Mac、另一个办公室的服务器，都能共同扛起同一份推理任务。它通过流水线并行把大参数开源模型切分到多个节点，在 Apple 芯片上用分页 KV 缓存批量处理请求，并按需调度流量，分散的硬件因此表现得像一个独立的服务端点。GPU 侧依托 SGLang 和 vLLM，Mac 则走 MLX LM，这意味着它能直接嵌进你现有的服务栈，不必推倒重来。对于自己部署 DeepSeek、Qwen、GLM 这类开源模型、又希望突破单机吞吐或数据本地性限制的团队，它提供了一条务实的路径，而且用的还是那些原本就闲置着的设备。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。