#99 · 主分类： 推理与本地部署
Atomic-Chat
ai-chat
ai-tools
apple-silicon
chatgpt
deepseek
desktop-app
gemma
gguf
gpt-oss
llamacpp
llm
llm-inference
local-ai
local-first
local-llm
mcp
mlx
open-source
qwen
self-hosted
本地AI应用和智能体推理引擎。在本地运行开放权重LLM，私密且完全离线。加入我们的Discord：https://discord.com/invite/8wGSsvmg4V
项目最后更新：08/28/26
GitHub Stars
1.4K
Forks数量
160
贡献者数量
176
许可证
Other
收录理由
如果你的工作涉及在自己硬件上运行开放权重模型，这会是一个相当完整的切入点。Atomic Chat 在 localhost:1337 上提供一个兼容 OpenAI 的单一服务端，背后整合了三种推理后端：自带 KV-cache 优化的 llama.cpp 分支、上游 llama.cpp，以及面向 Apple Silicon 的 MLX-VLM 引擎。已经会讲 OpenAI API 的编程代理、CLI 工具或 IDE 插件可以直接指向本地模型，无需额外胶水代码；MTP 和 DFlash 等投机解码特性还能在支持的模型上加速生成。桌面端负责从 Hugging Face 下载模型，内置聊天界面，支持 MCP 服务器，并允许每个会话独立混合本地与云端供应商。仅回环地址监听的服务端加上自带密钥的配置方式，让团队既能将对话留在本机，又能继续喂给常用的代理工具。
相关文章
暂无针对该项目的文章。
如需补充新闻资讯、使用教程、应用测评等内容，欢迎 联系我们推荐选题或投稿。