club-3090

收录理由

如果你手头有一两张高显存消费级显卡，无论是放在家里跑 homelab 还是当开发后端，这个仓库能帮你省掉伺候开源大模型推理服务时最磨人的调参环节。它直接给出能跑通的配置，而不是让你从零折腾各个引擎。里面整理了 vLLM、llama.cpp、ik_llama 的 Docker Compose 方案，都在 localhost 上暴露 OpenAI 兼容接口，而且对取舍讲得很实在——实测基准会告诉你哪个配置在真实工具调用的 agent 负载下会崩，哪个能干净地填满 200K 上下文窗口；FAQ 里还把 3090、4090、5090 各自的小坑列得清清楚楚。配套脚本和交互式向导会一步步带着你下载并校验模型权重、按显卡数量选变体、启动服务、做端点冒烟测试、跑基准。想要一个可复现的本地推理基线又不想手动调引擎的话，那些精选默认配置和能感知硬件的选择器确实能省下不少时间。