#135 · 主分类: 推理与本地部署
BrowserAI
在浏览器中运行本地大语言模型,如llama、deepseek-distill、kokoro等
项目最后更新:07/21/26
GitHub Stars
1.4K
Forks数量
137
贡献者数量
7
许可证
MIT
收录理由
BrowserAI 是一个纯前端的 JavaScript SDK,它把推理任务完全放到浏览器本地执行,不再依赖服务器。你可以在网页里直接加载 Llama-3.2、Qwen3、Gemma 以及 DeepSeek-R1 蒸馏版等小型模型,借助 WebGPU 在本地跑起来。对于注重隐私的 Web 应用团队来说,不用搭 GPU 基础设施,也不用按 token 付费,就能获得对话、结构化 JSON 输出、语音识别和语音合成能力。它把 MLC、Transformers.js、基于 WASM 的 GGUF 引擎以及 Demucs 等不同运行时封装成一套统一 API,换引擎或切换文本、音频、嵌入模型时,不用重写集成代码。首次下载模型后,页面可以离线使用,内置的数据库还能存对话记录,对做无代码工具的爱好者和研究者来说,是个很好上手的试验场。唯一要留意的点是,它预置的模型清单不算多,落地前最好先确认你要用的模型在你目标设备上跑得够流畅。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。