#65 · 主分类: 推理与本地部署

RWKV-Runner

api api-client chatgpt llm rwkv tool wails

一个RWKV管理和启动工具,全自动化,仅8MB。并提供与OpenAI API兼容的接口。RWKV是一个完全开源且可商用的大型语言模型。

项目最后更新:07/07/26

GitHub Stars

6.5K

Forks数量

600

贡献者数量

12

许可证

MIT

收录理由

RWKV 本身是一个完全开源、可商用的大语言模型系列,能本地运行;而 RWKV-Runner 把大部分繁琐的配置工作去掉了。这个只有几兆字节的桌面工具替你完成模型下载、权重管理和启动,哪怕从未碰过终端的人,几分钟内也能开始对话。它还提供兼容 OpenAI 的 HTTP 接口,现有的 ChatGPT 客户端、脚本和工具可以直接指向本地实例,不用改任何代码。对于需要数据留在内网的用户、想测试开放权重模型的开发者,以及单纯想探索本地大模型的爱好者,它都是很顺手的选择。负载较重时,你还能把 Python 后端部署到 GPU 服务器,让轻量界面只充当远程客户端。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目