#53 · 主分类: 推理与本地部署
turbo-fieldfare
在任意 M 系列 MacBook 上,约 2GB 内存即可进行 Gemma 4 26B-A4B 推理
项目最后更新:08/29/26
GitHub Stars
6.5K
Forks数量
408
贡献者数量
1
许可证
Apache-2.0
收录理由
手里只有8GB内存的Mac用户,一直想本地跑一个真正的260亿参数模型,这个项目会让人眼前一亮。TurboFieldfare是为Gemma 4 26B-A4B专门写的Swift和Metal运行时,不是套在MLX或llama.cpp上的薄壳。它把模型的共享核心和KV缓存留在内存里,按需从SSD加载路由专家,这样整体占用大约2GB,基础款Apple Silicon笔记本也能跑。除了原生Mac应用和命令行工具,它还自带一个兼容OpenAI的本地服务端,现有聊天补全工具可以直接对接。项目把设计思路和一百多次实测结果都公开了,这种透明度让人在投入之前更容易信任它的性能表现。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。