web-llm

收录理由

WebLLM 把 Llama、Phi、Gemma、Mistral、Qwen 这些开源模型完整地跑在浏览器里，靠 WebGPU 做硬件加速，既不用搭服务器，也不用操心推理账单。所有计算都在本地设备上完成，用户数据不会离开机器，这让它特别适合对隐私敏感的助手类应用和离线工具。它对外提供与 OpenAI 兼容的聊天接口，也就是说，你原本用来对接云端模型的客户端代码，可以直接指向这个浏览器内的本地后端，流式输出、JSON 模式、函数调用这些能力都支持。项目以 npm 包形式发布，内部是模块化的 MLCEngine 接口，可以轻松嵌入现有 Web 应用、Chrome 扩展或基于 Worker 的界面，不绑定任何特定框架。对于想用大模型功能又不想自己托管服务的团队来说，从原型验证到正式上线，这是一条走得通的路。