#155 · 主分类： 推理与本地部署
petals
bloom
chatbot
deep-learning
distributed-systems
falcon
gpt
guanaco
language-models
large-language-models
llama
machine-learning
mixtral
neural-networks
nlp
pipeline-parallelism
pretrained-models
pytorch
tensor-parallelism
transformer
volunteer-computing
🌸 在家运行LLM，BitTorrent风格。微调和推理比卸载快10倍。
项目最后更新：09/07/24
GitHub Stars
10.5K
Forks数量
643
贡献者数量
19
许可证
MIT
收录理由
大多数普通家庭的GPU装不下176B参数的模型，Petals换了个思路：把模型各层分散到自愿贡献的节点集群上，你从桌面或Colab笔记本就能接入这份共享算力。本地只留模型的一部分，其余层通过网络传递，对外暴露的是类似Hugging Face Transformers的接口，让远程的405B Llama 3.1用起来像在本地一样。对想微调或实验前沿开源权重（如Mixtral）的团队来说，这免去了租用昂贵硬件的麻烦，而Petals声称推理和微调比offloading快最多10倍。它也不只是生成文本的固定接口——你可以跑自定义微调、查看隐藏状态、按需路由请求，适合交互式应用和研究，而不是一次性输出。代价是隐私：公共集群中的数据会借助他人之手处理，敏感任务得在自己信任的人之间搭私有集群。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。