wllama

收录理由

wllama 将 llama.cpp 编译成 WebAssembly，让 GGUF 模型完全在用户浏览器里运行，无需搭建任何后端服务。它打包为 npm 包，内置类型完备的 OpenAI 兼容接口，团队若已在使用 chat completions 或 embeddings，迁移到浏览器端推理时几乎不用改动现有代码。当环境支持 WebGPU 时，计算层可以卸载到 GPU 加速，同时涵盖视觉输入与工具调用。推理在 worker 线程中执行，页面不会卡顿；大模型可拆分成多个小文件并行下载，绕开 2GB 的文件大小限制。唯一需要注意的是，多线程模式下必须配置 Cross-Origin-Embedder-Policy 和 Cross-Origin-Opener-Policy 响应头。