llm-server-docs

收录理由

这份指南对想在自有硬件上运行大语言模型服务器的人来说，细致得少见。它把在 Debian 系统上的整套流程都讲透了，从 GPU 驱动、Docker 加固到开机自启脚本，再一步步教你如何把各个组件拼起来：推理引擎可选 Ollama、llama.cpp 或 vLLM，用 llama-swap 管理模型，Open WebUI 做聊天界面，SearXNG 提供联网搜索，MCP 代理则负责工具集成。ComfyUI 的文生图、Kokoro 的语音合成也都有涉及，还包含通过 Tailscale 实现的安全远程访问，以及 SSH 和防火墙的配置。这是一份文档，不是拿来就能跑的代码，需要你把它当参考，根据自己机器的情况调整步骤。由于整个技术栈基于 OpenAI 兼容接口和 MCP 这类标准协议，替换其中某个组件时，不必推翻重来。