GenieX

收录理由

如果你的软件跑在骁龙平台上，GenieX 可以让你用几行代码，就把 Hugging Face 上的 GGUF 模型或高通 AI Hub 的预编译包，直接调度到 Hexagon NPU、Adreno GPU 或 CPU 上执行。它底层是一个统一的 C 运行时，却同时提供了命令行、Python 绑定、面向 Android 的 Kotlin/Java 接口、Docker 镜像以及一个兼容 OpenAI 的本地服务，换接口时完全不用动模型层。对于需要离线运行或对隐私敏感的移动端和边缘侧应用来说，这能实实在在把前沿大语言模型或多模态视觉模型跑在本地，而不必依赖云端。仓库里还附带了一些 Android 示例应用，做原型验证时很方便，尤其是当你想做一个仍然能对接现有工具链的端侧助手时。