#135 · 主分类: 推理与本地部署

BrowserAI

agents ai llama llm llm-inference local localllm tts webgpu

在浏览器中运行本地大语言模型,如llama、deepseek-distill、kokoro等

项目最后更新:07/21/26

GitHub Stars

1.4K

Forks数量

137

贡献者数量

7

许可证

MIT

收录理由

BrowserAI 是一个纯前端的 JavaScript SDK,它把推理任务完全放到浏览器本地执行,不再依赖服务器。你可以在网页里直接加载 Llama-3.2、Qwen3、Gemma 以及 DeepSeek-R1 蒸馏版等小型模型,借助 WebGPU 在本地跑起来。对于注重隐私的 Web 应用团队来说,不用搭 GPU 基础设施,也不用按 token 付费,就能获得对话、结构化 JSON 输出、语音识别和语音合成能力。它把 MLC、Transformers.js、基于 WASM 的 GGUF 引擎以及 Demucs 等不同运行时封装成一套统一 API,换引擎或切换文本、音频、嵌入模型时,不用重写集成代码。首次下载模型后,页面可以离线使用,内置的数据库还能存对话记录,对做无代码工具的爱好者和研究者来说,是个很好上手的试验场。唯一要留意的点是,它预置的模型清单不算多,落地前最好先确认你要用的模型在你目标设备上跑得够流畅。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目