mesh-llm

收录理由

Mesh LLM 把多台机器上的 GPU 和内存聚合成一个整体，通过本地 OpenAI 兼容接口对外提供服务。你只需要先启动一个节点，等负载上来再逐步加机器，模型该在本地跑、转发给对等节点、还是按阶段拆分到多机，都由网格自动判断。这对两类场景很实用：一是自己搭一套私有的多机推理集群来跑 agent 和聊天，省去手动编排的麻烦；二是本地硬件吃紧时，借用社区共享的计算资源。安装过程只需几条命令，支持二进制、Homebrew 以及 Ubuntu 和 Arch 的软件包，从下载到跑起一个可用的服务端点，中间几乎没有障碍。如果单台工作站的显存总和不够用，又不想被托管云绑定，这个项目值得仔细看看。