#149 · 主分类： 推理与本地部署
rkllama
ai
client
client-server
ia
llm
llm-apps
llm-inference
npu
npu-llm
offline
orange-pi
orangepi
orangepi5
orangepi5pro
python
rk3576
rk3588
rockchip
server
Rockchip NPU 的 Ollama 替代方案：在 Rockchip 设备上运行 AI 和深度学习模型的高效解决方案，支持优化的 NPU（rkllm）
项目最后更新：08/25/26
GitHub Stars
596
Forks数量
99
贡献者数量
20
许可证
GPL-3.0
收录理由
RKLLama 是一个面向 Rockchip 开发板的 REST 服务器与客户端，它把大模型推理从 CPU 转移到 NPU 上执行，适用于 Orange Pi 5、Radxa Rock 这类搭载 RK3588 或 RK3576 芯片、拥有 6 TOPS NPU 算力的设备。项目基于 Rockchip 官方的 rkllm 运行时构建，同时兼容 Ollama API 和大部分 OpenAI API，因此现有客户端或智能体几乎不用改代码就能接入。它还支持动态加载模型、跨会话的提示缓存以及工具调用，并且同一套接口还能处理视觉、图像生成和语音输入输出。如果你正在 Rockchip 硬件上做边缘或离线 AI 设备，这个项目提供了一条经过验证的本地推理路径。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。