llama.rn

收录理由

在手机上完全本地运行大语言模型，对注重隐私或需要离线工作的应用来说往往是最合适的选择，而llama.rn正好为React Native开发者提供了一条可行的实现路径。它通过JSI桥直接加载GGUF模型，并实时流式返回生成的token；原生层在iOS上使用Metal，在受支持的Android GPU上使用OpenCL，还实验性地支持Hexagon NPU卸载，以保证推理的流畅响应。结构化输出方面，它支持GBNF语法和JSON Schema约束采样；通用函数调用则基于Jinja模板实现。此外还提供嵌入与重排序方法，以及实验性的设备端文本转语音，支持参考音频声音克隆。两个平台都有预编译的原生二进制，免去自行编译llama.cpp的麻烦，不过需要时也仍可从源码构建。总体而言，它为需要本地模型推理、无需服务器往返的移动应用打下了实用的基础。