#116 · 主分类： 推理与本地部署
uzu
ai
high-performance
inference
llm
metal
rust
tts
高性能AI模型推理引擎
项目最后更新：08/29/26
GitHub Stars
1.7K
Forks数量
73
贡献者数量
17
许可证
MIT
收录理由
uzu 把大模型推理直接放进设备端，面向 Mac、iPhone 和 iPad 应用场景。它不走云端 API 转发提示词，而是把模型下载、内存管理、对话会话这些整条本地链路都交给一个简洁的 API 处理，并且这个 API 提供了 Rust、Python、Swift 和 TypeScript 多种语言绑定。借助苹果的 Metal 和统一内存架构，推理速度得到保障，同时所有数据都留在设备上，对离线使用或对隐私敏感的产品尤其有价值。一个运行时就能承载多种模型家族，做桌面或 iOS 应用 AI 功能的团队，不必再为不同模型分别搭建后端服务。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。