#53 · 主分类: 推理与本地部署

turbo-fieldfare

apple-silicon gemma gemma4 gemma4-26b-a4b gpgpu llm llm-inference local-ai macos metal on-device-ai on-device-llm swift

在任意 M 系列 MacBook 上,约 2GB 内存即可进行 Gemma 4 26B-A4B 推理

项目最后更新:08/29/26

GitHub Stars

6.5K

Forks数量

408

贡献者数量

1

许可证

Apache-2.0

收录理由

手里只有8GB内存的Mac用户,一直想本地跑一个真正的260亿参数模型,这个项目会让人眼前一亮。TurboFieldfare是为Gemma 4 26B-A4B专门写的Swift和Metal运行时,不是套在MLX或llama.cpp上的薄壳。它把模型的共享核心和KV缓存留在内存里,按需从SSD加载路由专家,这样整体占用大约2GB,基础款Apple Silicon笔记本也能跑。除了原生Mac应用和命令行工具,它还自带一个兼容OpenAI的本地服务端,现有聊天补全工具可以直接对接。项目把设计思路和一百多次实测结果都公开了,这种透明度让人在投入之前更容易信任它的性能表现。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目