#76 · 主分类: AI对话与Chatbot

web-llm-chat

ai chat chat-application chatbot chatgpt gemma generative-ai hermes large-language-models llama llm mistral nextjs phi2 privacy qwen redpajama tinyllama webgpu

在浏览器中本地运行AI大语言模型进行聊天。享受私密、无需服务器、无缝的AI对话。

项目最后更新:02/18/26

GitHub Stars

1.1K

Forks数量

228

贡献者数量

213

许可证

Apache-2.0

收录理由

这个聊天界面把大型语言模型直接跑在浏览器里,靠WebGPU加速,对话和数据都留在本机,不会上传到任何服务器。对需要私密演示或内部助手的开发者来说,这点很实在——不用把提示词交给第三方服务,断网也能用。它还支持上传图片给视觉模型,渲染Markdown,并且能通过MLC-LLM的REST接口接入自定义模型,适合拿来当浏览器推理的试验场。要是你在评估WebLLM或WebGPU的实际表现,这个项目正好展示了成熟聊天界面如何与底层引擎衔接,值得参考。

相关文章

暂无针对该项目的文章。

如需补充新闻资讯、使用教程、应用测评等内容,欢迎 联系我们推荐选题或投稿。

同类热门项目