#115 · 主分类： 推理与本地部署
distributed-llama
distributed-computing
distributed-llm
llama2
llama3
llm
llm-inference
llms
neural-network
open-llm
分布式LLM推理。将家用设备连接成强大的集群，加速LLM推理。设备越多，推理越快。
项目最后更新：07/05/26
GitHub Stars
3.0K
Forks数量
248
贡献者数量
15
许可证
MIT
收录理由
Distributed Llama 把家中闲置的机器（包括树莓派）串成一个推理集群。它用张量并行把模型权重拆到各节点，再通过以太网同步，所以加设备不只是扩容，而是真的让生成变快。这样一来，单台机器内存装不下的 70B 或 405B 级模型，也能在自己硬件上跑，不用租云 GPU。启动只需一条命令，自动下载模型和分词器；README 覆盖 Linux、macOS、Windows 和 GPU 运行方式，讨论区还贴了真实基准。无论是想用消费级硬件自托管大模型，还是想看看张量并行在多机之外的表现，这个项目都是值得研究的活例子。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。